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Bildhafte Räume und begehbare Bilder 
Zur Einführung 


Kassandra Nakas, Philipp Reinfeld 


Technologien der Virtuellen Realität (VR) werden gegenwärtig meist isoliert 
in ihren jeweiligen Anwendungsfeldern betrachtet. Gleichzeitig bietet die 
immer noch junge Technik ein erstaunlich wirksames mediales Bindeglied, 
um sehr unterschiedliche Disziplinen und Arbeitsbereiche in einen produk- 
tiven Austausch zu bringen. Ausgehend von Ansätzen am Institute of Media 
and Design (IMD) der Technischen Universität Braunschweig, die aus ent- 
wurfstechnischer Perspektive in Forschung und Lehre das echtzeitliche und 
realmaßstäbliche Gestalten und Kommunizieren in VR untersuchen, ver- 
sammelt die vorliegende Publikation zwölf Beiträge zu raumgenerierenden 
Praktiken aus unterschiedlichen Fachgebieten. Sie widmen sich theoretischen 
und praktischen Aspekten der Gestaltung virtueller Räume, ihrem Verhältnis 
zu realphysischen Orten sowie Modellen des kollektiven und kommunikativen 
(Inter-)Agierens in VR - mitsamt ihren körperlichen, kognitiven, ästhetischen 
und sozialen Konsequenzen. 

Virtuelle Räume sind nicht erst seit Beginn der COVID-19-Pandemie pro- 
minente Orte sozialer Interaktion und prägen einen wesentlichen Teil unserer 
visuellen Umwelt. Die Vorarbeiten zu dieser Publikation gehen dement- 
sprechend vor diesen historischen Einschnitt zurück; sie erwuchsen aus dem 
eingangs erwähnten, seit 2016 bestehenden universitären Lehr- und For- 
schungsschwerpunkt an der TU Braunschweig. In diesem Kontext fand im 
Oktober 2020 ein von der VolkswagenStiftung gefördertes, internationales 
und interdisziplinäres Symposium zum vorliegenden Themenkomplex statt. 
Unter dem Titel „Entwerfen bildhafter Räume und begehbarer Bilder. Virtu- 
elle Architekturen im Spannungsfeld der Disziplinen“ trafen sich im Xplana- 
torium Schloss Herrenhausen in Hannover Expert:innen aus den Bereichen 
Informationstechnik und Engineering, Architektur und Kunstgeschichte, Thea- 
terwissenschaft und Szenografie, bildende Kunst und museale Wissensver- 
mittlung; sie erörterten Fragen und Potenziale, die sich aus der Verwendung von 
Virtual Reality für die Gestaltung künftiger Umwelten ergeben. Die Vorträge 
und Diskussionen im Rahmen dieses Symposiums bildeten den Ausgangs- 
punkt für die vorliegende Publikation, für die weitere Beiträge gewonnen wer- 
den konnten. Sie alle beschäftigen sich aus je unterschiedlichem fachlichem 
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Blickwinkel mit den inhaltlichen, gestalterischen, kognitiven und körperlichen 
Potenzialen des Entwerfens bildhafter Räume und begehbarer Bilder im virtu- 
ellen Raum. 

Die Beiträger der ersten Sektion, ,Bild-Räume des Entwerfens und Kom- 
munizierens“, befassen sich mit den Herausforderungen und Möglichkeiten 
des ganzkörperlichen Zugriffs auf dreidimensionale digitale Objekte und 
Räumlichkeiten in VR-Umgebungen. Der echtzeitliche Umgang mit digita- 
len 3D-Artefakten mittels CAD und Modellierungsprogrammen ist seit über 
zwanzig Jahren verbreiteter Standard in der architektonischen Entwurfs- und 
Konstruktionsarbeit. Der Zugriff auf den virtuellen Raum und seine Objekte 
war jedoch bis vor kurzem durch die Interaktionsschranke des zweidimen- 
sionalen Bildschirms begrenzt. Die Überwindung dieser Vermittlungsebene 
durch VR-Systeme lässt indes viele der disziplinär etablierten Strategien und 
Methoden des Gestaltens von und Kommunizierens über Raum unzureichend 
erscheinen. Sie beinhaltet ein grundlegend verändertes Verständnis ent- 
werferischen Tuns und der damit verbundenen Ziele, mithin die Notwendig- 
keit neuer Praktiken und Theorien. Die offensichtlichste Umstellung in der 
Entwurfsarbeit liegt dabei in der (ganz-)körperlichen Dynamik, die in VR- 
Umgebungen gegeben ist. In seinem Aufsatz ‚Vom Reißbrett in die Virtuelle 
Realität“ schlägt der Architekt Jan Philipp Drude einen Bogen zwischen heu- 
tigen Entwurfspraktiken in VR und den Baustellen des Hoch- und Spätmittel- 
alters. In der Gotik bestand eine integrative Verbindung von Entwurfs- und 
praktischer Bautätigkeit, die Drude zufolge den Prozessen des Entwerfens mit 
und in VR vergleichbar ist. Demgegenüber fand seit der Renaissance eine zeit- 
liche, örtliche, dimensionale und maßstäbliche Abgrenzung des Entwurfs- vom 
Bauprozess statt, die bis heute wirksam ist. Drude plädiert dafür, diese Tren- 
nung zu überwinden; zu diesem Zweck entwickelte er im Rahmen eines Dis- 
sertationsprojekts an der Leibniz Universität Hannover Project DisCo (Discrete 
Choreography in VR). Diese First-Person VR-Designumgebung, die auch durch 
mehrere Personen gemeinschaftlich genutzt werden kann, ermöglicht es, dis- 
krete modulare Bausteine interaktiv zu komplexen Strukturen zu fügen. Im 
Vergleich zu herkömmlichen Entwurfsmethoden erweist sie sich als stark 
körperbezogener, intuitiver Gestaltungsprozess. Solch physisch-performative 
Aspekte der Entwurfstätigkeit verfolgt Philipp Reinfeld in seinem Beitrag „Per- 
formatives Entwerfen in Virtual Reality“ weiter. Bereits 2016 etablierte der 
Architekt am IMD der TU Braunschweig einen Lehr- und Forschungsschwer- 
punkt zu architektonischen Entwurfspraktiken in VR-Anwendungen, die vom 
jetztzeitlichen, medial bedingten und körperlich aktiven Wechselspiel zwi- 
schen Imagination, dreidimensionaler Szene und deren bildlicher Repräsenta- 
tion geprägt sind. Charakteristisch ist die Aufweichung der Grenzen zwischen 
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Entwerfen, Betrachten und Präsentieren. Reinfeld zufolge bietet der subjektive 
Blick auf den Raum aus der Innenperspektive aufschlussreiche Analogien zu 
künstlerisch-performativen Praktiken des Umgangs mit inneren wie äuße- 
ren Bildern. Das Entwerfen in einem betretbaren und fortwährend veränder- 
lichen Bild-Raum wird zu einer neuen Spielart architektonischer Realität. 
Wie sich diese ausgestalten lässt, veranschaulicht Reinfeld anhand mehrerer 
Beispiele aus seiner Lehr- und Forschungsarbeit am IMD. Der Architekt und 
Softwareentwickler Carsten Jantzen hat maßgeblich an der Entwicklung des 
Multi-User VR-Design-Programms Cloud Modelling mitgewirkt. Im Interview 
mit Philipp Reinfeld erläutert er die Ziele und Herausforderungen, die mit 
diesem Vorhaben einhergingen. Es handelt sich um eine vom Unternehmen 
Volke Entwicklungsring SE eingesetzte virtuelle Umgebung, die in der Fahr- 
zeugindustrie in unterschiedlichen Phasen des Designprozesses Anwendung 
finden kann. Sie ermöglicht es bis zu zehn Nutzer:innen, gleichzeitig und 
standortunabhängig dreidimensionale CAD-Modelldaten zu erstellen und zu 
verändern. Dabei kommt sie in hochspezialisierten Bereichen zum Einsatz, wo 
sie ein intuitives Agieren und somit einfacheres Kooperieren ermöglicht, und 
macht folglich ein spezifisches Potenzial von VR-Technologie für komplexe 
Arbeitszusammenhänge produktiv. Ein niederschwelliger und Fachgrenzen 
überschreitender Austausch über dreidimensionale Sachverhalte steht ebenso 
im Zentrum zweier Mixed-Reality-Projektionssysteme, die von den Fraunho- 
fer-Instituten für Arbeitswirtschaft und Organisation IAO in Stuttgart sowie 
fiir Fabrikbetrieb und -automatisierung IFF in Magdeburg entwickelt wur- 
den. Im Interview mit Philipp Reinfeld beschreiben die Computervisualisten 
Matthias Aust (IAO) und Steffen Masik (IFF) die technischen Hintergründe 
und arbeitsmethodischen Leistungsmerkmale der jeweiligen Einrichtung: 
des Immersive Participation Lab in Stuttgart und des Elbedome des Virtual 
Development and Training Centre (VDTC) in Magdeburg. Hierbei handelt es 
sich um Projektionssysteme zur großflächigen Darstellung interaktiver Visua- 
lisierungen, die als virtuelle Arbeitsumgebungen fungieren. Wie in klassischen 
CAVES (Cave Automatic Virtual Environment) werden mittels stereosko- 
pischer Bewegtbilder dreidimensionale Realitäten projiziert, die in Echtzeit 
auf die Bewegungen ihrer Nutzer:innen reagieren. Projektierte (bauliche) 
Anlagen können hier im Voraus gemeinschaftlich betrachtet, bewertet und 
weiterentwickelt werden. Der Wegfall von Head-Mounted Displays erleichtert 
die zwischenmenschliche Interaktion und Kommunikation. Angesichts der in 
den vergangenen Jahren lauter gewordenen Forderung nach gesellschaftlicher 
Teilhabe in architektonischen und städtebaulichen Gestaltungsprozessen 
eröffnen sich hier vielversprechende Möglichkeiten zur Kooperation. 
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Die zweite Sektion, „Bild-Räume des Erzählens und Vermittelns“, beleuchtet 
die Verbindung virtueller Welten mit realphysischen Räumen im Kontext mu- 
sealer, szenografischer und unterhaltungsbezogener Zusammenhänge. Die 
(real-)physische Verfasstheit der virtuell erweiterten Orte spielt hierbei eine 
wichtige Rolle. Reale Räume ‚verschwinden‘ nicht vollends ‚hinter‘ den digi- 
tal erzeugten, sondern treten mit diesen in ein hybrides Verhältnis, das von 
den Nutzer:innen als Schnittstelle erfahren wird. Diese Schnittstelle bildet, vor 
dem Hintergrund ihrer Arbeitsfelder Architektur, Theater(wissenschaft) und 
Szenografie, auch ein wesentliches Interesse von Franziska Ritter und Pablo 
Dornhege. In ihrem Forschungsprojekt Im/material Theatre Spaces unter- 
suchen sie die Potenziale immersiver Technologien im Zusammenspiel mit 
den räumlichen, technischen und erzählerischen Qualitäten des Theaters. 
Ihr Beitrag „Hybride Realitäten“ entstammt einer künstlerisch-technischen 
Auseinandersetzung mit Virtual Reality, die diese wie das Theater als 
Imaginationsraum, Ort des gemeinsamen Erlebens und der reflexiven Selbst- 
wahrnehmung versteht. Sie schildern zwei Fallbeispiele aus ihrer Forschung 
und setzen diese in Bezug zu weiteren Projekten aus Anwendungsbereichen 
im Museum, Game Design, Film und Theater. So entsteht in ihrem VR-Projekt 
Spatial Encounters durch das kokreative Zusammenwirken von Publikum, 
Musiker:innen und Medienkünstler:innen in einer Live-Situation ein musi- 
kalischer Interaktionsraum. Das hybrid-reale Setting konfiguriert sich immer 
wieder neu und erweist sich, so Ritter und Dornhege, gegenüber rein physi- 
schen oder rein virtuellen (Bühnen-)Räumen als deutlich vielschichtiger, kom- 
plexer und variabler. Der Medieninformatiker Alexander Schmidt beschäftigt 
sich als Koordinator des VRlab im Deutschen Museum München, einem der 
größten Wissenschafts- und Technikmuseen der Welt, mit VR-Technologie 
in der musealen Vermittlungsarbeit. Im Interview mit Kassandra Nakas und 
Philipp Reinfeld schildert er die experimentellen Räume, die sich dadurch 
eröffnen. Das 2018 gegründete VRlab versteht sich als offen konzipierter Ort 
für Kooperationen zwischen Forschung, Entwicklung und künstlerischen 
Arbeiten mitVR und AR (Augmented Reality). Es ist Teil des Verbundprojekts 
museum4punkto und wurde zusammen mit einem 3D-Scan-Labor einge- 
richtet, in dem anhand der umfangreichen Sammlungsbestände des Hauses 
unterschiedliche digitale Scan-Verfahren erprobt werden. Leitend ist die Frage, 
wie Digitalisierung genutzt werden kann, um technik- und kulturhistorisch 
bedeutende Exponate möglichst direkt begrifflich und sinnlich erfahrbar zu 
machen. Wirklichkeitsnahe Erfahrungen in VR-Umgebungen stehen auch im 
Fokus der Arbeit von Sebastian Marwecki. Im Interview mit Philipp Reinfeld 
gibt der Programmierer und Spieleentwickler Einblick in seine Forschung am 
Human Computer Interaction Lab des Hasso Plattner Instituts in Potsdam, wo 
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er im Rahmen einer Dissertation das VR-System Virtualizing Physical Space 
entwickelt hat. Mit dessen Hilfe lassen sich realphysische Räumlichkeiten fär 
virtuelle Spieleerfahrungen adaptieren. Der Umgebungsraum mit seinen hap- 
tischen Elementen wird so zum zentralen Medium der Vermittlung virtueller 
Erlebnisse. Marwecki zeigt damit, wie komplexe, nonlinear verlaufende Nar- 
rationen in VR ohne die Nutzung großflächiger, leerer Laborräume umsetzbar 
sind. Damit adressiert er auch eine Kostenfrage, da die Räume somit mehrfach 
und verdichtet für unterschiedliche VR-Erfahrungen nutzbar werden. Inso- 
fern erinnert die Zielsetzung seines Systems nicht zuletzt an experimentelle 
Konzepte in der Architektur, die auf räumlich-programmatische Verdichtung 
angelegt sind. 

Die dritte und letzte Sektion des Bandes, „Bild-Räume aus historischer 
und theoretischer Perspektive“, richtet den Blick auf die geschichtlichen 
Anfänge, konzeptuellen Hintergründe und gegenwärtigen künstlerischen 
Spielarten virtueller Bild-Räumlichkeit. Eva Wilson untersucht in ihrem Bei- 
trag „How and Where to Find a Virtual Image“ die Anfänge und Hintergründe 
der Begrifflichkeit virtueller Bilder. Ausgehend von der Unterscheidung zwi- 
schen realen und virtuellen Bildformen in der geometrischen Optik des 
17. Jahrhunderts rekapituliert die Kunstwissenschaftlerin die Bestimmung des 
Virtuellen als nicht fixierbar: Es existiert ohne eindeutiges Trägermedium 
allein im Moment seines Erblicktwerdens. Durch die Bewegung der Betrach- 
ter:innen ändert es seine Erscheinung. Wilson zeigt, wie die Bindung an den 
individuellen Wahrnehmungsakt und die physische Präsenz der Betrach- 
ter:innen widersprüchliche imaginative Wirkungen erzeugt und Identitäten 
instabil und beweglich werden. Die Beobachtung, dass virtuelle Bilder ohne 
physische Trägermedien nur mit Hilfe des körperlichen Sensoriums erfasst 
werden können, weist auf heutige Diskussionen über Verkörperung (embodi- 
ment) und die ganzkörperliche Adressierung in VR-Erlebnissen voraus. Der 
Architekt und Architekturwissenschaftler Constantinos Miltiadis rekapituliert 
unter dem Titel „Spacetime-Craft“ die historisch-mathematische Entwicklung 
von Raumbeschreibungsmodellen und ihre Auswirkungen in Philosophie, 
Erkenntnistheorie, Kunst und Architektur. Raum als historisch veränderliches 
Konzept und die damit verbundene Einsicht in die Relativität des Wissens 
waren steter Antrieb kreativer Grenzüberschreitungen. Mit dem Aufkommen 
von VR im 20. Jahrhundert boten sich neue Möglichkeiten für raumzeitliche 
Experimente und die Erforschung des menschlichen Sensoriums. Miltiadis 
stellt die Entwicklung seit den 1960er Jahren in ein geschichtliches Konti- 
nuum. In einer „selektiven Archäologie“ rekapituliert er einige künstlerisch- 
architektonische Beispiele raumzeitlicher Visionen. Sie interpretierten Raum 
auf poetische Weise neu und machten seine ästhetische Dimension erfahrbar. 


6 KASSANDRA NAKAS, PHILIPP REINFELD 


In diesem Sinne plädiert Miltiadis angesichts der heutigen Möglichkeiten der 
VR-Technologie fär eine Besinnung auf deren experimentelles und spekulati- 
ves Potenzial. Auch der Beitrag „Das Echo der Bilder in der Tiefe des Raums“ 
der Kunstwissenschaftlerin Kassandra Nakas blickt zuriick auf die optimisti- 
schen Anfänge von VR. Gegen die technoeuphorische Abwertung des Leibes 
in popularkulturellen Imaginationen formulierten Architekturkritikerinnen 
und feministische Theoretikerinnen in den ıggoer Jahren die Hoffnung auf 
einen egalitären und empathischen Raum im Virtuellen. Sie spekulierten auf 
eine komplexe Verschachtelung realphysischer und digitaler Räume, die nicht 
weniger, sondern mehr körperlich-sinnliche Erfahrung ermögliche. Die dabei 
skizzierte, physisch erlebbare Materialisierung der virtuellen Sphäre findet 
heute, wie Nakas anhand einer VR-Rauminstallation der Australierin Lauren 
Moffatt ausführt, eine Aktualisierung in der bildenden Kunst; das spekulativ- 
utopische Potenzial der Technologie erweist sich als ungebrochen produktiv. 
Eine eingehende Analyse zweier weiterer bildkünstlerischer VR-Arbeiten 
liefert Annette Urban in ihrem Aufsatz „Re-Building Virtuality“. Die Kunst- 
historikerin beschreibt die neuartige Kontinuität von realen und virtuellen 
Erlebnissphären im Alltag als paradigmatischen Prozess der Verlebensweltli- 
chung. Kennzeichnend dafür sei der verstärkte Rückgriff auf Relikte der vor- 
handenen Welt, um virtuelle Welten zu ‚bauen‘. Ermöglicht wird dies durch 
den Einsatz technischer Verfahren wie softwarebasierter Photogrammetrie, 
3D-Scanning oder Motion Capture. Deren zunehmende Amateurisierung 
durch die Implementierung in Smartphones und Tablets führt Urban zufolge 
zu einer Individualisierung dieser ,Welterweiterungen“ und zur Schaffung 
hybrider „Mikrokosmen“. Anhand von Werken von Rachel Rossin und fleu- 
ryfontaine betrachtet sie eindrückliche künstlerische Auseinandersetzungen 
mit solchen Prozessen der Welterweiterung. Der Medienkünstler Clemens 
Schöll und die Architekturtheoretikerin Ortrun Bargholz fragen abschließend 
in ihrem Beitrag ,Versprochene Realität“ kritisch nach dem eigentlichen Nut- 
zen von VR. Angesichts einer regelrechten Konjunktur von Ausstellungen und 
Förderungen von VR-Kunst durchleuchten sie die Hoffnungen und Ziele, die 
sich vor allem in diesem Bereich, jenseits ökonomischer Zwecke, mit dem Ein- 
satz der Technologie verbinden. Ihrer Auffassung nach ist die Freude an der 
Technik selbst ausschlaggebend, während der vorgebliche mediale Nutzen - 
als bloßes Versprechen - lediglich zur Rechtfertigung dient: ein Phänomen, 
das bereits frühere ‚Medien-Hypes‘ charakterisierte, wie Schöll und Barg- 
holz feststellen. Nach ihrem Dafürhalten sollte der künstlerische Einsatz 
entsprechende medienkritische Implikationen reflektieren und die — auch 
gesellschaftlich relevanten — gestalterischen Potenziale der VR-Technologie 
ausloten; ein Anliegen, das die beiden selbst in künstlerischen Kollaborationen 
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verfolgen, welche sie hier neben Arbeiten des Känstlers Dani Ploeger vorstellen. 
Die Sektion zeigt, wie in kiinstlerischen Ansätzen das spezifische mediale 
Potenzial der Technik bewusst reflektiert, gar zum eigentlichen Thema wird. 
Die vorliegende Publikation versteht sich als substanzieller Beitrag zu 
einer produktiven und zukunftsweisenden Auseinandersetzung mit den 
Potenzialen und Herausforderungen von VR-Technologien. Deren Möglich- 
keiten in technischer, baulicher, ästhetischer und kommunikativer Hinsicht 
sind noch lange nicht ausgeschöpft. Das gilt sowohl fär arbeitssoziologische 
Zusammenhänge, wie in den vorliegenden Interviewbeiträgen deutlich wird, 
als auch für spezifische, inhaltliche und körperlich-sinnliche Erfahrungen ver- 
mittelnde Bereiche wie Museen, Theater und Szenografien. In der bildenden 
Kunst werden unter anderem individuell-subjektive Modi der Re-/Produktion 
(virtueller) Welten erprobt, die den heterotopischen Horizont des Mediums 
adressieren. Anschaulich wird, dass das ‚Universalmedium‘ VR eine große 
Bandbreite medienreflexiver, ästhetisch innovativer und gesellschaftlich rele- 
vanter Einsatzweisen bietet. Der Architektur als genuin konstruktiver Kultur- 
technik schließlich stellt es sich als originäre Herausforderung dar, aktiv zur 
Entwicklung von Möglichkeiten des Entwerfens in und mit VR beizutragen. 


I. Bild-Räume des Entwerfens und 
Kommunizierens 


Vom ReiBbrett in die Virtuelle Realität 


Wie sich unsere Entwurfsperspektive verändert 


Jan Philipp Drude 


Vom Rissboden zum ReiBbrett 


Die Geschichte architektonischer Medien ist geprägt von den Sichtweisen 
der Renaissance. Beginnend mit den Schriften Albertis im fiinfzehnten Jahr- 
hundert ist die Quellenlage umfassend - die großen Architekten! der Zeit sind 
uns bekannt, ihr Werk in Bau und Schrift umfassend dokumentiert. Doch mit 
dieser Vielzahl an Informationen hielt auch eine ganze Reihe von Vorurteilen 
gegenüber der vorangegangenen Epoche Einzug in das architektonische 
Denken. So ist schon der Begriff „Gotik“ im sechzehnten Jahrhundert durch 
Giorgio Vasari als herablassende Bezeichnung der vorangegangenen Archi- 
tekturepoche geprägt worden.? Aus der Gotik selbst ist uns deutlich weniger 
überliefert; so ist nicht einmal bekannt, wer die Erschaffer so bedeutender 
Bauwerke wie Notre-Dame de Paris oder der Kathedrale von Chartres waren, 
geschweige denn, wer den Chor von St. Denis erdacht hat, der gemeinhin als 
erstes Bauwerk im gotischen Stil angesehen wird. Auch die Bautechniken der 
Zeit sind uns nicht hinreichend überliefert und müssen aus unterschiedlichen 
Quellen hergeleitet werden. Dieser unausgewogene Kenntnisstand hinsicht- 
lich Entwurfs- und Bauprozessen in der Gotik gegenüber der Renaissance 
bestimmt bis heute unsere Vorstellung vom Bauen, sowie das architektonische 
Denken im Ganzen. 

Mit der Renaissance begann auch die Vormachtstellung der architekto- 
nischen Zeichnung als Ausdruck des Entwurfs — Leon Battista Alberti defi- 
niert die Zeichnung als Projektion, die die wahren Winkel und Längen er- 
hält,? während Raphael Sanzio das Dreigespann aus Grundriss, Ansicht und 
Schnitt definiert.* Beide sehen die Rolle von Architekten somit in der Schaffung 
der Zeichnung als Ausdruck der Architektur, nicht in der Herstellung von 


ı In diesem ersten historischen Abriss werde ich die maskuline Form verwenden, da die im 
Text erwähnten Berufsgruppen im Mittelalter und der Renaissance nahezu ausschließlich 
männlich geprägt waren. 

2 Vasari, Delle vite, S. 43. 

3 Alberti et al., On the Art of Building, S. 34. 

4 Sanzio und Castiglione, „The Letter to Leo X“, S. 188. 
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Gebäuden.? Es gilt mittlerweile als gesichert, dass schon in der Gotik des drei- 
zehnten Jahrhunderts Planzeichnungen in Form von skalierten Normalrissen 
zum Einsatz kamen;® weniger klar ist indes, ob diese bereits bei den Gebäuden 
der Hochgotik um 1200 verwendet wurden. Die Arbeit der Dombaumeister 
scheint sich in dieser Phase überwiegend direkt auf der Dombaustelle ab- 
gespielt zu haben.” So wurden Zeichnungen im Maßstab eins zu eins direkt 
in die Böden und Wände der Kathedralenbaustelle geritzt, sichtbar beispiels- 
weise im Rissboden des York Minster. Aus diesen Zeichnungen, an denen sich 
reale Größen leicht abmessen ließen, konnten dann Schablonen für die Stein- 
metze hergeleitet werden, nach denen die einzelnen Werkstücke gefertigt wur- 
den.$ In der Tat spielte sich in der frühen Phase der Gotik wohl deutlich mehr 
direkt auf der Baustelle ab als heute vorstellbar scheint. So konnte es beispiels- 
weise vorkommen, dass eine Skulptur in situ gefertigt wurde, während über dem 
Kopf des Steinmetzes in diesem Moment das Gewölbe gemauert wurde.? Auf 
diese Weise konnten die Handwerker sowohl Inspiration vom Ort gewinnen, als 
auch die strukturelle Rolle des Werkstücks unmittelbar in Betracht ziehen. 

Der Sprung von der Arbeit auf der Dombaustelle, bei der gestalterische Ent- 
scheidungen vor Ort und während des Bauens getroffen und im Angesicht der 
aufsteigenden Struktur der Kathedrale evaluiert wurden, hin zu einem Prozess 
des Zeichnens, bei dem die komplette Gestaltung des Gebäudes bereits vor 
der Grundsteinlegung feststand, muss enorm gewesen sein und soll uns als 
Anschauungsbeispiel dienen um die Auswirkungen zu verstehen, die Virtual 
Reality (VR) auf das architektonische Entwerfen haben könnte. 


Vom Reißbrett zum PC 


Das Bauen ist einer der letzten Industriezweige, in dem die Fertigungsprozesse 
nicht vollends digitalisiert sind und so ist es üblich, dass ein Gebäude noch 
immer auf der Grundlage von Maßstabszeichnungen auf Papier gebaut wird, 
wie durch Alberti und Raphael definiert. In den Planungsprozessen hingegen 
hat sich das Arbeiten in den letzten dreißig Jahren gewaltig verändert. Pläne 
werden längst nicht mehr am Reißbrett gezeichnet, sondern zunehmend 
als 3D-Modell in CAD-Programmen (Computer-Aided-Design) angelegt. Die 
Zeichnungen werden anschließend als Ableitung aus den Modellen generiert. 


Carpo, The Alphabet and the Algorithm, S. 16. 
Ball, Universe of Stone, S. ı51f. 
Ebd,, S. 150. 
Ebd,, S. 184. 
Ebd. 
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Die Erstellung besagter 3D-Modelle durch Gestalter:innen erfolgt normaler- 
weise nicht in drei Dimensionen, sondern über die zweidimensionale Pro- 
jektionsfläche des Computerbildschirms. Echtzeit-Rendering Algorithmen 
sorgen dafür, dass Designer:innen zu jedem Zeitpunkt eine Projektion des 
dreidimensionalen Gebäudemodells auf dem Bildschirm zu sehen bekom- 
men. Diese Art der Darstellung folgt nicht unserer üblichen Wahrnehmung 
von Raum, sondern erfordert gleich zwei verlustreiche Konvertierungsme- 
thoden. Zum einen vom digitalen 3D-Modell zur Projektion auf dem Bild- 
schirm und zum anderen von der zweidimensionalen Ebene des Bildschirms 
zur räumlichen Vorstellung in unserem Bewusstsein. Um auf diese Weise eine 
Vorstellung vom 3D-Modell zu gewinnen, lernen Nutzer:innen eine Reihe 
von Hilfsmitteln: Bekannte Objekte werden in die Szene integriert, um eine 
Vorstellung vom Maßstab zu gewinnen, Abstände werden meist numerisch 
eingegeben, da die Raumwahrnehmung nicht exakt genug ist, um einen 
Abstand mithilfe gemachter Erfahrungen intuitiv zu setzen, und das Modell 
wird kontinuierlich aus mehreren Blickwinkeln evaluiert. Dieser Flaschenhals 
zwischen der Projektion auf dem Monitor und der daraus gewonnenen räum- 
lichen Vorstellung könnte durch die Nutzung von Virtual Reality und der damit 
einhergehenden virtuellen Präsenz von Gestalter:innen im digitalen Raum 
verschwinden und ein intuitiveres Gestalten ermöglichen. 


Vom PC zur virtuellen Präsenz 


Es erscheint anachronistisch, dass die Entwicklung des ersten Virtual Reality 
Headsets jener des ersten Personal Computer um sieben Jahre vorausging, 
hat doch die Entwicklung des letzteren unsere Welt seit den 1980er Jahren in 
nahezu allen Aspekten des Lebens verändert, wohingegen VR noch immer 
ein relativ neues Phänomen zu sein scheint. Doch während die anhaltende 
Weiterentwicklung des PC hauptsächlich auf einer voranschreitenden Minia- 
turisierung von Schaltkreisen basierte, musste bei Letzterer zunächst ein 
kritischer Wert erreicht werden, bis Virtual Reality für einen breiten Markt 
erreichbar wurde. Erst mit der allgemeinen Verfügbarkeit von Echtzeit- 
3D-Rendering und der Miniaturisierung von Schaltkreisen, Displays und Sen- 
soren konnte VR Fahrt aufnehmen. 

Die technologischen Revolutionen des zwanzigsten und einundzwanzigsten 
Jahrhunderts haben gezeigt, dass erst die Öffnung einer Technologie für einen 
Massenmarkt deren Innovationspotenzial vollends freisetzen kann.! Der viel 
zitierte Satz Alexander Graham Bells, dass dereinst ein Telefon in jeder größeren 


10 _ Gershenfeld et al., Designing Reality, S. 103f. 
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Stadt der Vereinigten Staaten stehen würde, hat sich damit als wohl größte 
Untertreibung der Neuzeit herausgestellt.” Erst die Verbreitung des Telefons 
stellte die Infrastruktur her, auf deren Grundlage das Internet entwickelt wer- 
den konnte, erst mit der kommerziellen Verbreitung von Personal Computern 
wurde Echtzeit-Rendering möglich, erst durch die Nachfrage nach PCs ließ sich 
die Miniaturisierung von Chips bis ins heutige Zeitalter vorantreiben. Genauso 
war es nur durch die schiere Anzahl an Nutzer:innen möglich, das Internet, wie 
wir es heute kennen, zu entwickeln. Mit ihrer Kommerzialisierung, ausgelöst 
durch die Vorstellung des Oculus Rift Development Kits im Jahr 2012, könnte 
Virtual Reality am Beginn einer ebensolchen Entwicklung stehen. Eine Voraus- 
sage in diese Richtung treffen auch die großen Technologiekonzerne an der US- 
amerikanischen Westküste. Facebook Inc.s kürzliche Umbenennung in Meta 
ist gleichzeitig eine Selbstverpflichtung, das so genannte Metaverse aus der 
Wiege zu heben: eine neue Iteration des Internets als immersive Plattform voll 
digitaler Räume.!? Da eine potenzielle Entwicklung dieses Ausmaßes sicher 
nicht allein in den Händen US-amerikanischer Konzerne liegen sollte, ist es 
umso wichtiger, unabhängige Forschung in diesem Bereich voranzutreiben 
und mögliche Implikationen aus der Sicht unterschiedlicher Fachrichtungen 
zu beleuchten. 


Konstruieren in virtueller Präsenz 


Betrachtet man die geschichtliche Entwicklung von VR-Head-Mounted- 
Displays (HMD), müsste die Anwendung als räumliches Zeichentool fester 
Bestandteil ihrer DNA sein. Schließlich entwickelte Ivan Sutherland mit dem 
Sword of Damocles nicht nur das erste HMD,” sondern hatte zuvor bereits 
mit Sketchpad“ das erste CAD-Programm vorgestellt. Doch die Präzision, 
mit der bereits Sketchpad in der Lage war zu zeichnen, ist in Virtual Reality 
nicht ohne weiteres nachzuempfinden. Numerische Eingaben, die klassische 
CAD so präzise machen, sind in immersiven Umgebungen nur umständlich 
zu benutzen - sie widersprechen gar dem Versprechen von VR, eine natürliche 
Auseinandersetzung mit dem umgebenden Raum zu ermöglichen. Das aktuell 


11 „One day there will be a telephone in every major city in the USA.“ Dieser Satz wird allge- 
mein Alexander Graham Bell zugeschrieben und in die Zeit kurz nach der Erfindung des 
Telefons durch ihn datiert. 

12 Meta, The Metaverse and How We'll Build It Together - Connect 2021, 28.10.2021 [Video- 
datei], https://youtu.be/Uvufun6xer8 [29.11.2021]. 

13 Sutherland, „A head-mounted three-dimensional display“, S. 757. 

14 Sutherland, „Sketchpad“, 1964, S. R-3. 
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wohl bekannteste VR-CAD-Programm, Gravity Sketch, legt seinen Fokus ent- 
sprechend nicht auf Prazision, sondern versteht sich als App zum Skizzieren. 
Ähnlich ist es bei anderen Programmen auf dem Markt, wie Googles Tilt Brush 
oder Adobes Medium. Während weitere Firmen an präzisen CAD-Programmen 
für VR arbeiten, wie Volkes Cloud Modelling, legen auch diese den Fokus meist 
auf die Stärke von VR: dem intuitiven Manipulieren räumlicher Objekte. Diese 
Methode des Konstruierens widerspricht jedoch den prävalenten industriellen 
Fertigungsmethoden, die auf exakte Fügung angewiesen sind und meist wenig 
Raum für Toleranzen lassen. Der Wunsch, der Palette an verfügbaren Program- 
men ein weiteres hinzuzufügen, welches die Notwendigkeit industrieller Prä- 
zision mit intuitivem Handling in VR kombiniert, führte an der Abteilung für 
Digitale Methoden in der Architektur (dMA) der Leibniz Universität Hanno- 
ver zur Entwicklung von Project DisCo! durch den Autor (Abb. 2.1). Die not- 
wendige Präzision wird in Project DisCo durch eine Methode gewährleistet, die 
sowohl in der Architektur, als auch im für die VR wichtigen Bereich Game- 
Development üblich ist: Modularität. 


Abb. 2.1 Project DisCo: Modulares Entwerfen in Virtual Reality. 


15 Project DisCo [Software], Hannover: Jan Philipp Drude 2019. Computerspiel. 


16 JAN PHILIPP DRUDE 
Präzision durch Modularität 


Das Kreieren von virtuellen Welten in Computerspielen mithilfe von Game 
Engines kann fär gewöhnlich nicht als eine präzise Form des Modellie- 
rens angesehen werden. Spiel-Designer:innen nutzen sogenannte Asset- 
Bibliotheken aus 3D-Geometrie, mit denen sie die Welten zum Leben 
erwecken. Dabei ist es aus mehreren Gründen wichtig, die Anzahl der ver- 
wendeten Assets möglichst gering zu halten und diese entsprechend häufig 
wiederzuverwenden: Dies spart einerseits Rechenaufwand beim Rendering 
und hält andererseits die notwendige Speichermenge gering. Um mit einer 
begrenzten Zahl an 3D-Modellen dennoch kein Empfinden von Repetivität 
aufkommen zu lassen, werden die Assets rotiert, skaliert und frei ineinander- 
gesteckt. Dieses Vorgehen ist üblich, stößt jedoch an seine Grenzen, wenn es 
an menschengemachte Objekte wie Gebäude oder Infrastruktur geht, bei 
denen eine ungenaue Fügung der Bestandteile zu auffälligen Ungereimtheiten 
führen könnte. Aus diesem Grund werden Asset-Bibliotheken für Gebäude 
häufig in Bestandteile heruntergebrochen, die einem zugrundeliegenden Ras- 
ter folgen und auf unterschiedliche Art und Weise zusammengesetzt werden 
können. Bei Gebäudebibliotheken beispielsweise enthält der Modulbaukasten 
für gewöhnlich verschiedene Wand-, Decken- und Dachelemente, häufig wer- 
den dabei Raumecken als gesonderte Teile herausgebildet. Ein solcher Bau- 
kasten lässt sich beliebig um Straßen, Brücken oder Möbelsysteme erweitern. 
Diese Herangehensweise ermöglicht Designer:innen sowohl eine effiziente 
Methode zur Erstellung komplexer Welten als auch die Möglichkeit zur pro- 
zeduralen Erstellung von Spielwelten durch Algorithmen. Die Methode des 
Modulbaukastens wurde in der Herstellung von Computerspielen bald zu 
deren Inhalt erhoben, wie an Beispielen wie Minecraft oder Die Sims zu sehen 
ist. Während die komplexe Erstellung von Computerspielen weiterhin in den 
Händen von Expert:innen liegt, zeigen diese Beispiele dennoch, dass ein Inter- 
esse am Konstruieren außerhalb der Designdisziplinen besteht, welches in der 
Freizeit spielerisch ausgelebt wird; ein Interesse, das einen Ausgangspunkt bil- 
den kann, um Laien in den architektonischen Diskurs einzubeziehen. 

Eine andere Form der Modularität spielt auch im Bereich der Architektur 
spätestens seit der Industriellen Revolution eine entscheidende Rolle, lässt 
sich jedoch bis in die archaische Periode der griechischen Architektur zurück- 
verfolgen. Der begrenzte Baukasten der dorischen Säulenordnung, die als 
Grundlage vieler Tempel dieser Epoche dient, ist in mehrerer Hinsicht sogar 
unseren heute verbreiteten Systemen voraus, ist hier die Fügung zwischen den 
einzelnen Modulkomponenten doch immer klar geregelt. Die zeitgenössische 
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Ausführungsplanung sieht da deutlich anders aus: Architekt:innen wählen aus 
Systemen an Hochlochziegeln oder Kalksandsteinen und ummanteln diese 
mit Polysterolblöcken in Standardmaßen. In die Wand werden vorgefertigte 
Mauerwerksanker integriert, um die davorliegende Klinkerfassade zu stabili- 
sieren, die im vorgegebenen Verband gemauert wird. Unterbrochen wird diese 
Fassade schließlich durch mit Riemchen beklebte Betonfertigteile und Fenster 
aus Standardprofilen. Zwischen all diesen unterschiedlichen Modulsystemen 
muss auf der Baustelle vermittelt werden, vieles wird dabei miteinander ver- 
klebt und lässt sich so bei Abriss schwer wieder recyclen. Bei dieser Art von 
Modulen ist kaum von Präzision zu reden, da sich die Position der einzelnen 
Elemente durch die Fügung im Mörtelbett oder mithilfe anderer vermittelnder 
Schichten kontinuierlich verschieben lässt. Präzision durch systemische Vor- 
gaben ist hingegen beispielsweise im Sondermaschinenbau weit verbreitet 
und findet auch im Stahlbau Verwendung. Geprägt wurden diese Ideen in 
der Architektur unter anderem durch Personen wie Walter Gropius und Kon- 
rad Wachsmann, die die Industrialisierung in der Architektur durch die Vor- 
fertigung von Häusern in Modulbauweise vorantreiben wollten und zu diesem 
Zweck die General Panel Corp. griindeten.!® 

Diese Herangehensweise wird aktuell ergänzt durch eine Strömung in der 
Architektur, die sich auf die Forschungsergebnisse des Center for Bits and 
Atoms am Massachusetts Institute of Technology (MIT) stützt. Dort wird der 
Aufbau beliebiger Strukturen aus wiederverwendbaren Modulbausteinen 
untersucht, deren Fügungslogik direkt in die Geometrie der Module integriert 
ist, ähnlich wie bei Legosteinen oder Aminosäuren auf molekularer Ebene. 
Der Einsatz solcher Typologie-agnostischer Modulsysteme, sogenannter Digi- 
tal Materials, macht es möglich, beliebige Strukturen abzubilden und darüber 
hinaus weitere Funktionen direkt in die Bauteile zu integrieren. Im Mikro- 
maßstab ermöglicht es dieses Vorgehen, elektronische Eigenschaften direkt in 
die Struktur zu integrieren;!” im Architekturmaßstab könnte so die Gebäude- 
technik direkt in die Bausteine eingefügt werden. Die Verwendung von Digital 
Materials in der Architektur wird im Übrigen im Forschungsfeld der Diskreten 
Architektur weiterverfolgt.® 


16 Bittner, The Art of Joining, S. 35. 
17 _ Gershenfeld et al., Designing Reality, S. 174. 
18 Retsin, „Digital Assemblies“, S. 41. 
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Modulares Konstruieren in VR 


Die vorangegangenen Überlegungen führten zur Entwicklung von Project 
DisCo, um die intuitive Auseinandersetzung mit Raum im Maßstab eins zu eins 
mit der Präzision modularer Systeme zu kombinieren. Project DisCo baut dabei 
auf Wasp!? auf, einem von Andrea Rossi konzipierten Plugin, welches erlaubt, 
innerhalb der Node-basierten Skript-Umgebung Grasshopper 3D modulare Sys- 
teme zu entwickeln und mit diesen zu konstruieren. Grasshopper wiederum 
basiert auf dem CAD-Programm Rhinoceros 3D (Rhino), was es ermöglicht, 
Entwürfe aus Project DisCo in eine klassische CAD-Umgebung zu überführen, 
oder modulare Systeme in CAD mithilfe von Rhino und Wasp zu entwickeln 
und fürVR nutzbar zu machen. Ein wichtiger Fokus liegt dabei auf der Schnitt- 
stelle zwischen Wasp und Project DisCo, welche darauf ausgelegt ist, VR und 
Desktop-CAD in Bereichen zu nutzen, in denen ihre jeweiligen Stärken lie- 
gen. Auf diese Weise kann das komplexe Konstruieren einzelner Module durch 
Expert:innen in CAD geschehen, während das Entwerfen in Project DisCo mit 
einer deutlich einfacheren Bedienung einhergeht. Dies ermöglicht die Kon- 
zentration der Entwerfer:innen allein auf Raum und Gestaltung, oder aber die 
Einbindung von Laien in Beteiligungsprozessen und Planspielen (Abb. 2.2).2° 


Abb. 2.2 Pavillon-Entwürfe eines kollaborativen Prozesses mit Architekt:innen und Laien 
in Project DisCo. 


Module werden in Wasp als eine Kombination aus Geometrie, Verbindungen 
und Regeln definiert. Die Geometrie dient sowohl der visuellen Referenz 
als auch der softwareseitigen Kollisionserkennung, die vermeidet, dass es 
zu Überlappungen zwischen Objekten kommt. Da mögliche Verbindungen 
zwischen Modulen beliebig angeordnet sein können, müssen diese als frei 


19 Wasp [Software], Darmstadt: Andrea Rossi 2017. Grasshopper Plugin. 
20 Drude und Zellmer, „Project Disco as a Participatory Platform’, S. aif. 
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orientierbare Raumebenen angenommen werden, bestehend aus Position und 
Ausrichtung. Ein Modul kann so an ein anderes andocken, indem zwei Ver- 
bindungen ausgemacht werden und eine Transformation von einer Ebene zur 
anderen bestimmt wird, der ein gesamtes Modul mitsamt Geometrie und allen 
weiteren Verbindungen folgt (Abb. 2.3). 


Abb. 2.3 Verbindungsprozess in Project DisCo. 


Dabei gibt es stets ein aktives Modul, welches zu einem passiven Modul hin 
transformiert wird, an dieses andockt und ihm damit hierarchisch unter- 
geordnet wird. Somit kann eine Aggregation nicht bloß als Sammlung von 
Modulen im Raum angesehen werden, sondern vielmehr als hierarchischer 
Graph. Die Regeln schließlich definieren, welche Verbindungen aneinander 
andocken dürfen, um einen sinnvollen Aufbau zu gewährleisten: Sie bilden die 
Syntax des Modulsystems.?! 

In Project DisCo wird zwischen statischen Teilen, die bereits zu einer Aggre- 
gation gehören (passiv), sowie freien Teilen, die nach möglichen Verbindungen 
in einer Aggregation suchen (aktiv) unterschieden. Freie Teile können dabei 
auf unterschiedliche Weise durch Designer:innen beeinflusst werden. Die 
erste Version von Project DisCo ließ nur eine Form des Choreografierens zu, 
wobei eine Wolke freier Teile mithilfe der VR-Controller beeinflusst werden 
konnte, indem diese Teile durch die Bewegungen des Controllers angeregt 
wurden.?? Eine Aggregation aus Teilen kann wachsen, indem ein freies Teil 
einem statischen Teil nahekommt und sich dabei eine mögliche Verbindung 
auftut. Sind Abstand und Ausrichtung unterhalb gewisser Schwellenwerte und 
lassen die Regeln dies zu, vollzieht das freie Teil die nötige Transformation 
zur passiven Verbindung und wird somit Teil der Aggregation.?? Seit diesen 
Anfängen kamen weitere Möglichkeiten hinzu, Bauteile zur Aggregation 
hinzuzufügen: Teile können mittels des Controllers in den virtuellen Raum 
geschossen werden, sowie direkt als Teil einer Aggregation an ausgewählter 


21 Rossi und Tessmann, „From Voxels to Parts“, S. 1004. 
22 Drude et al., „Project DisCo“, S. 291. 
23 Ebd., S. 293. 
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Stelle erzeugt werden. Natiirlich ist es dariiber hinaus möglich die Aggregation 
zu editieren, indem Teile geléscht werden. Die Méglichkeit, Verbindungen frei 
im Raum orientieren zu können, gestattet es, unterschiedlichste Strukturen zu 
erzeugen, die sich auf verschiedenste Weise im Raum konfigurieren können 
und dabei keinem vorgefertigten Raster folgen müssen. 

Das Erstellen einer Aggregation lässt sich durch die unterschiedlichen 
Herangehensweisen auf mehrere Arten steuern, wobei Kontrolle und Zeitauf- 
wand gegeneinander aufgewogen werden müssen. So lässt sich eine Aggrega- 
tion durch serielle Platzierung Teil für Teil aufbauen, was eine hohe Kontrolle 
ermöglicht, dafür jedoch sehr viel Zeit benötigt. Schief$t man hingegen Teile in 
den virtuellen Raum oder choreografiert diese, lassen sich deutlich mehr Teile 
in kurzer Zeit platzieren, wobei man die gestalterische Kontrolle zu einem 
gewissen Grad an die Simulation abgibt. Dadurch, dass sich Regeln temporär 
deaktivieren lassen und auch statische Teile als Ausgangspunkt für weitere 
Aggregation deaktiviert werden können, lässt sich das Wachstum der Struk- 
tur trotz der Aufgabe lokaler Kontrollmomente in die gewünschten Bahnen 
lenken. Das Löschen einzelner Elemente oder das Platzieren bestimmter Teile 
an besonders wichtigen Positionen erlaubt es dennoch, einen hohen Grad 
an Kontrolle zu erhalten (Abb. 2.4). Virtual Reality ermöglicht es in dieser 
Anwendungsweise, Strukturen direkt im Maßstab eins zu eins im virtuellen 
Raum um die Entwerfer:innen herum entstehen zu lassen. Dabei kann der 
individuelle menschliche Maßstab als Referenz zum Entwerfen genutzt wer- 
den, ohne dass er durch die Abstraktionsebene der Zeichnung interpretiert 
werden muss. Die Auswirkung einer Platzierung wird den Gestaltenden somit 
im Prozess bewusst, da sie sich unmittelbar räumlich auswirkt. 


Abb. 2.4 Kollaboratives Entwerfen in Project DisCo. 
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Architekt:innen arbeiten für gewöhnlich im Team, eine Arbeitsweise, die sich 
bislang meist nicht beim Erstellen von Zeichnungen fortführen lässt. Über 
das Reißßbrett beugt sich nur eine Person und auch CAD-Programme konn- 
ten zunächst nur individuell bedient werden. Zwar wurde die Möglichkeit 
zur Zusammenarbeit mit der Einführung von Xrefs (external References) in 
AutoCAD sowie anderer Software verbessert, diese erlauben es jedoch ledig- 
lich, fremde Dateien zur Anzeige einzubinden, nicht aber diese zu verändern. 
Zeitgenössische BIM-Programme (Building Information Modeling), deren 
Modelle in der Cloud liegen, bieten hier neue Ansätze. Sie entsprechen in ihrer 
Funktion jedoch eher Version-Control-Systemen, bei denen Änderungen Stück 
für Stück synchronisiert werden, nachdem diese durch Verantwortliche begut- 
achtet wurden. Diese Art des Zusammenarbeitens folgt den Notwendigkeiten 
in der Ausführungsplanung, wobei unterschiedliche Gewerke koordiniert wer- 
den müssen. Entwurfsprozesse hingegen funktionieren anders: Sie basieren 
für gewöhnlich auf einem Dialog in Echtzeit, bei dem Entwerfer:innen auf- 
einander reagieren. In einem solchen Szenario sind Skizzen und veränderbare 
Entwurfsmodelle als Kommunikationsmedien das Mittel der Wahl. Virtual 
Reality, kombiniert mit Multinutzer-Networking, könnte diesen Kollabora- 
tionsprozessen ein neues Medium zur Verfügung stellen (Abb. 2.5). 


Abb. 2.5 Project DisCo zur kollaborativen Platzgestaltung im Quartierskontext. 


Ein großer Teil der technologischen Grundlagen für VR wurden in der Gaming- 
Industrie perfektioniert. Ebenso wie das Real-Time-Rendering wurden hier 
auch robuste Protokolle für das Zusammenspiel via Netzwerk entwickelt. Für 
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gewöhnlich wird VR-Software aus diesem Grund in Game Engines entwickelt, 
die unterschiedliche Protokolle aus dem Gaming-Bereich biindeln und nutz- 
bar machen. Entwickler:innen haben so Zugriff auf Rendering, Real-Time- 
Simulationen, Netzwerk-Protokolle, API, etc. Project DisCo wird mithilfe der 
Unity Game Engine?* entwickelt und nutzt einen proprietären Netzwerkstack. 
Setzt jemand eine Szene auf, indem ein Modulsystem geladen wird und die 
entsprechenden Einstellungen vorgenommen werden, können weitere Nut- 
zer:innen der Session beitreten, ohne selbst Einstellungen vornehmen zu 
müssen. Dies sorgt für eine niedrige Eintrittshürde und öffnet Project DisCo 
für ein breites Spektrum an Nutzer:innen. Innerhalb einer Session werden 
Teilnehmer:innen in Form von Avataren sichtbar. Sie können dabei unter- 
schiedliche Rollen im Entwurfsprozess einnehmen, die im Voraus mithilfe von 
Wasp festgelegt werden.?? Dabei können unterschiedliche Rollen den Entwurf 
und seine Umgebung in verschiedenen Maßstäben betrachten, haben unter- 
schiedliche Werkzeuge zur Verfügung und können an einem ergebnisoffenen 
Entwurfsprozess sowohl in VR als auch vom Desktop aus auf spielerische 
Weise teilnehmen. Zusätzlich zu den Modulsystemen können weitere Bezugs- 
modelle in eine Project DisCo-Szene eingeladen werden, um einen Kontext für 
den Entwurf zu schaffen. Hierbei kann es sich um Landschaften, Stadtmodelle, 
Bestandsbauten, Räume oder andere kontextualisierende Objekte handeln. 
Die Einbindung dieser Bezugsmodelle wird ebenfalls via Wasp verwaltet und 
kann auf unterschiedliche Art und Weise Kontext bieten. 


Fazit 


Neil Gershenfeld, Leiter des Center for Bits and Atoms, sieht eine Revolution 
im Bereich der Fertigung im Gange, die mit der Entwicklung der Compu- 
ter im zwanzigsten Jahrhundert vergleichbar ist: Vom Mainframe zum Mini 
Computer zum Personal Computer, der schließlich die Computerrevolution 
ins Rollen bringen sollte. Im Bereich der Fertigung betrachtet er den Schritt 
zur sogenannten Personal Fabrication als kurz bevorstehend und misst ihm 
ebensolches Transformationspotenzial wie der Computerrevolution bei. 
Während industrielle Fertigung nach dieser Logik mit den Mainframe Com- 
putern von einst gleichzusetzen ist, bilden sogenannte Fablabs (Fabrication 
Laboratories), wie sie in der gesamten Welt entstehen und von Privatleuten 


24 Unity [Software], San Francisco: Unity Technologies 2007. Game Engine. 
25 Drude und Zellmer, „Project Disco as a Participatory Platform“, S. 44. 
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und Forscherteams genutzt werden können, den Bereich der Minicomputer 
ab. Den Ubergang zur Personal Fabrication, bei der nahezu jede Person privat 
Zugriff auf leicht zu bedienende Fertigungsprozesse hat, sieht Gershenfeld als 
logischen nächsten Schritt an.?6 Dieser Prozess bezieht sich zunächst auf die 
Entwicklung von Produkten, könnte jedoch ebenso starke Auswirkungen auf 
die Architektur haben. Der Bereich Virtual Reality könnte ein ähnliches Trans- 
formationspotenzial innehaben, wie Gershenfeld es in der Fertigung voraus- 
sagt. Dabei ist Virtual Reality dem Status Personal VR, also der Adaption der 
Technologie in weiten Teilen der Bevölkerung, vielleicht näher als es in der Fer- 
tigung der Fall ist. Dies wird durch Technologieriesen wie Facebook, Microsoft 
oder Epic Games unterstrichen, die uns bereits jetzt das Metaverse als Vision 
für Personal VR versprechen und damit auf die Ausgestaltung ganzer virtueller 
Welten abzielen. 

In jedem Fall wird Virtual Reality weiter Einzug in unsere aller Leben 
erhalten und wir sollten als Architekt:innen proaktiv darauf reagieren und 
längst Strategien entwickeln, diese neuen Potenziale zu nutzen. Eine groß- 
artige Möglichkeit ist dabei das Entwerfen im Maßstab eins zu eins, sowie 
das Kooperieren in Echtzeit. Ähnlich den Dombaumeistern des zwölften und 
dreizehnten Jahrhunderts bietet uns diese Herangehensweise die Möglichkeit, 
Raum direkt zu erfahren, während wir ihn gestalten, ohne auf das Interims- 
medium des Plans angewiesen zu sein. Die Tatsache, dass wir in diesem Pro- 
zess frei sind, unterschiedliche Iterationen zu durchleben und Eindrücke 
zu gewinnen, noch bevor der erste Stein auf der Baustelle platziert wurde, 
gibt uns dabei nicht nur einen enormen Vorteil gegenüber den Baumeistern 
von einst, sondern auch gegenüber den Prozessen, die aktuell im Entwerfen 
genutzt werden. Das Arbeiten im digitalen Raum ist schließlich zeiteffizienter 
und erfordert weniger Ressourcen, als es beim physischen Modellbau der Fall 
ist, der noch immer häufig angewendet wird. Die Möglichkeit, die digitalen 
Modelle mithilfe von VR in drei Dimensionen zu betrachten und sie in unter- 
schiedlichen Maßstäben zu erfahren, stellt einen weiteren Vorteil der immersi- 
ven Herangehensweise gegenüber dem physischen Modellbau dar. 

Denken wir diesen Prozess weiter, wird es uns nicht nur möglich seininVR 
zu entwerfen, indem wir Geometrie oder Objekte platzieren, sondern es ergibt 
sich auch die Aussicht, den Entwurf hinsichtlich seiner Machbarkeit zu evalu- 
ieren, indem wir diverse Computersimulationen in Echtzeit berechnen und die 
Ergebnisse in den Prozess einfließen lassen. Darüber hinaus ließen sich immer 
größere Teile des Planungsprozesses in VR integrieren. Mit der Anbindung 


26 Gershenfeld et al., Designing Reality, S. 105. 
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an BIM wiirden Projektbesprechungen direkt im zu betrachtenden Objekt 
stattfinden und Änderungen aus der VR eingepflegt werden. Die Nutzung 
des geteilten immersiven Modells ist bis in den Bauprozess hinein méglich, 
indem der Baufortschritt mithilfe von Mixed Reality, als Verbindungsglied zwi- 
schen digitalen Modellen und physischem Raum, jederzeit mit dem digitalen 
Planungsmodell abgeglichen werden kann. 

Anhand von Project DisCo hat dieser Beitrag aufgezeigt, wie die Verwendung 
modularer Systeme in der Planung das Dilemma mangelnder Präzision über- 
winden kann. Die Nutzung von Modulen mit diskreter Fügungslogik greift 
darüber hinaus Neil Gershenfelds Vision der Personal Fabrication auf, in der 
Objekte aus wiederverwendbaren Digital Materials hergestellt werden. Vir- 
tual Reality vermag es, diese Potenziale zusammenzuführen und nutzbar zu 
machen. Erweitert durch die Möglichkeiten von Mixed Reality, könnte uns 
diese Entwicklung dazu bewegen, das Medium der Planzeichnung zu über- 
winden und uns zu Baumeister:innen im gotischen Sinne zu machen. Doch 
das ist noch nicht alles; mit dem Verlassen des darstellerischen Mediums 
der Zeichnung eröffnen sich völlig neue Möglichkeiten der Komplexität. Die 
Informationsdichte eines digitalen Dokuments ist schließlich nicht durch 
die Auflösung einer Zeichnung begrenzt, oder durch den Detailgrad, der sich 
aus Normalrissen ablesen lässt. Auf diese Weise können Räume entstehen, 
deren geometrische Ausgestaltung einen weitaus höheren Grad an Artikula- 
tion zulässt als es üblicherweise der Fall ist. Und obwohl dieses Argument der 
höheren Artikulation für eine ganze Reihe von Entwurfstechniken gilt, die sich 
digitaler Methoden bedienen, hat die Nutzung von VR einen entscheidenden 
Vorteil: ihre Grundlage ist der menschliche Maßstab. Dieser bleibt dabei nicht 
auf die Sichtweise einer einzelnen Person beschränkt. Durch das kollaborative 
Entwerfen kann eine Vielzahl von Menschen zusammenkommen, um einen 
Entwurf im virtuellen Raum zu diskutieren. Die niedrige Einstiegshürde erlaubt 
es dabei auch, Laien in Entwurfs- und Planungsprozesse einzubeziehen, sodass 
sie die Auswirkungen entwurflicher Entscheidungen unmittelbar erfahren 
können. Dies ermöglicht die Berücksichtigung völlig unterschiedlicher Sicht- 
weisen, um das architektonische Entwerfen weitaus inklusiver zu gestalten, als 
dies bislang der Fall ist, und damit einen höheren Grad an gesellschaftlicher 
Akzeptanz für architektonisches Handeln zu erreichen. Der Grundstein für all 
diese Entwicklungen ist bereits gelegt und es ist an uns, diese Potenziale zu 
erkennen und in die Zukunft zu tragen. 


VOM REIGBRETT IN DIE VIRTUELLE REALITÄT 25 
Bibliographie 


Alberti, Leon Battista, Joseph Rykwert, Neil Leach und Robert Tavernor. On the Art of 
Building in Ten Books. Cambridge, Mass.: MIT Press, 1988. 

Ball, Philip. Universe of Stone. Chartres Cathedral and the invention of the gothic. New 
York: Harper Perennial, 2009. 

Bittner, Regina. The Art of Joining. Designing the Universal Connector. Leipzig: Spector 
Books, 2019. 

Carpo, Mario. The Alphabet and the Algorithm. Cambridge, Mass.: MIT Press, 2011. 

Drude, Jan Philipp, Andrea Rossi und Mirco Becker. „Project DisCo Choreographing 
Discrete Building Blocks in Virtual Reality“. In Impact. Design With All Senses, hg. 
von Christoph Gengnagel, Olivier Baverel, Jane Burry, Mette Ramsgaard Thomsen 
und Stefan Weinzierl. Cham: Springer International Publishing, 2020, S. 288-299. 

Drude, Jan Philipp, und Valentin Zellmer. ,Project Disco As A Participatory Platform“. In 
Public Play Space Symposium Proceedings, hg. von Chiara Farinea und Marco Ingras- 
sia. Barcelona: Institute for Advanced Architecture of Catalonia, 2021, S. 38-48. 

Gershenfeld, Neil, Alan Gershenfeld und Joel Cutcher-Gershenfeld. Designing Reality. 
How to survive and thrive in the third digital revolution. EBook Edition, New York: 
Basic Books, 2017. 

Retsin, Gilles. ,Digital Assemblies. From Craft to Automation“. In: Architectural Design 
(AD), 258 (2019), S. 38-45. 

Rossi, Andrea und Oliver Tessmann. „From Voxels to Parts. Hierarchical Discrete Mode- 
ling for Design and Assembly“. In ICGG 2018 - Proceedings of the 18th International 
Conference on Geometry and Graphics, hg. Von Luigi Cocchiarella. Cham: Springer 
International Publishing, 2019, S. 1001-1012. 

Sanzio, Raphael und Baldassare Castiglione. ,The Letter to Leo X by Raphael and Bal- 
dassare Castiglione“. In Palladios’s Rome. A Translation of Andrea Palladio’s Two Gui- 
debooks to Rome, hg. von Vaughan Hart und Peter Hicks. New Haven, London: Yale 
University Press, 2006. 

Sutherland, Ivan E. ,A head-mounted three dimensional display“. In Proceedings of 
the AFIPS ’68 Fall Joint Computer Conference, New York: Association for Computing 
Machinery, 1968, S. 757-764. 

Sutherland, Ivan E. ,Sketchpad a man-machine graphical communication system“. In 
Simulation 2, 5 (1964), S. R-3-R-20. 

Vasari, Giorgio. Delle vite de’ più eccellenti pittori scultori et architettori. Florenz: 
Torrentino, 1550. 


26 JAN PHILIPP DRUDE 
Bildnachweise 


Abb. 2.1: Project DisCo: Modulares Entwerfen in Virtual Reality. 

Abb. 2.2: Pavillon-Entwiirfe eines kollaborativen Prozesses mit Architekt:innen und 
Laien in Project DisCo. 

Abb. 2.3: Verbindungsprozess in Project DisCo. 

Abb. 2.4: Kollaboratives Entwerfen in Project DisCo. 

Abb. 2.5: Project DisCo zur kollaborativen Platzgestaltung im Quartierskontext. 

Alle Abbildungen: Jan Philipp Drude. 


Performatives Entwerfen in Virtual Reality 


Körperaktive Hybridisierungen zwischen virtuellem und realem Raum 
Philipp Reinfeld 


Abstraktion und Projektion 


Durch den Einsatz von digitalen Modellierungs- und Konstruktionsprogram- 
men seit Beginn der 1990er Jahre zählt das Arbeiten an echtzeitlich visua- 
lisierten, dreidimensionalen Architekturmodellen zur Standard-Methodik 
in der Entwurfsarbeit von Architekt:innen. Der visuelle Zugriff auf diese 
virtuellen Raummodelle erfolgt jedoch nach wie vor flächig vermittelt über 
die Schnittstelle des Computermonitors. Die Visualisierungen, die zwar 
immer wirklichkeitsnäher geworden sind, bleiben dadurch stets nur in ver- 
kleinerten Maßstäben oder Ausschnitten sichtbar. Das seit der Renaissance 
systematisch entwickelte ‚Arbeiten am Raum‘ unter Anwendung geometrisch- 
dimensionaler Abstraktionsmethoden (seien es perspektivische oder paral- 
lele Raumverkürzungsverfahren) ist deshalb im Grundsatz bis heute erhalten 
geblieben. Ebenso besteht die seit der Neuzeit entwickelte geografische Ent- 
koppelung des Planungsprozesses vom späteren Bauplatz bis heute fort.! 
Sowohl örtlich, dimensional, als auch zeitlich entfernte sich mit Beginn der 
Neuzeit der kreative Prozess der Planungsarbeit immer weiter von der archi- 
tektonischen Umsetzung und dem Bauprozess. Mit der Distanz zur unmittel- 
baren Wirklichkeitserfahrung des Bauens in Zeit und Raum nahm auch die 
körperliche Involvierung im Entwurfsprozess signifikant ab. Auch wenn mit 
der Digitalisierung der Planungsarbeit eine bemerkenswerte Rückkehr der 
dritten Dimension in die entwerferische Praxis stattgefunden hat, bleibt die 
körperliche Erfahrbarkeit des Raums durch die undurchdringbare Oberfläche 
des Monitorbildes versperrt. 

Die Entkoppelung der Entwurfsarbeit vom Bauplatz ging einher mit der 
Etablierung einer Vielzahl von zeichnerisch-symbolischen Übereinkünften, 
die seither mit den unterschiedlichen Planungsphasen und ihren typischen 
Maßstabsstufen verbunden sind. Die Architekturproduktion bedient sich seit 
der Renaissance verschiedener Formen distanzschaffender Abstraktionen - 
vom Ort des Bauens, von der Dreidimensionalität des Gebäudes und vom 


1 Vel. hierzu die Ausführungen zu dieser Entwicklung im Beitrag von Jan Philipp Drude im 
vorliegenden Band. 
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‚jetztzeitlichen‘ und dynamischen Raumerlebnis. Diese entwerferischen Dis- 
tanzierungen, die in erster Linie ein Zurücktreten von der leiblichen Wirklich- 
keitserfahrung von Architektur bedeuten, weisen Parallelen auf zu einer von 
dem Medienphilosophen Vilem Flusser beschriebenen, allgemeinen kultur- 
geschichtlichen Abstraktion lebensweltlicher Einbindung, einer stetig voran- 
schreitenden räumlich-dimensionalen Ausklammerung des menschlichen 
Weltzugangs: 


Die langsame und mühselige kulturelle Entwicklung der Menschheit lässt 
sich als ein schrittweises Zurückweichen von der Lebenswelt, als schrittweise 
zunehmende Entfremdung betrachten. Mit dem ersten Schritt zurück aus der 
Lebenswelt — aus dem Kontext der den Menschen angehenden Dinge - werden 
wir zu Behandlern, und die daraus folgende Praxis ist die Erzeugung von Instru- 
menten. Mit dem zweiten Schritt zurück — diesmal aus der Dreidimensionalität 
der behandelten Dinge - werden wir zu Beobachtern, und die daraus resultie- 
rende Praxis ist das Bildermachen. Mit dem dritten Schritt zurück — diesmal aus 
der Zweidimensionalität der Imagination — werden wir zu Beschreibern, und 
die daraus folgende Praxis ist das Erzeugen von Texten. Mit dem vierten Schritt 
zurück — diesmal aus der Eindimensionalität der alphabetischen Schrift — wer- 
den wir zu Kalkulierern, und die daraus folgende Praxis ist die moderne Tech- 
nik. Dieser vierte Schritt in Richtung totaler Abstraktion - in Richtung der 
Nulldimensionalität - ist mit der Renaissance geleistet worden, und gegenwärtig 
ist er vollzogen. Ein weiterer Schritt in die Abstraktion ist nicht tunlich: Weniger 
als nichts kann es nicht geben.? 


Die hier beschriebenen medialen Umbrüche sind phänomenologische Ein- 
klammerungen eines stufenweisen Zurücktretens aus der Intentionalität der 
jeweils vorherrschenden medialen Einbindung des Menschen in seine Umwelt. 
Die letzte erreichbare Stufe der „totalen Abstraktion“ stellt laut Flusser keinen 
ausweglosen Endpunkt dieser kultur- und medienhistorischen Entwicklung 
dar, sondern sie ist vielmehr als ein Umkehrpunkt zu deuten: 


Daher wenden wir sozusagen um 180 Grad und beginnen, ebenso langsam und 
mühselig, in Richtung des Konkreten (der Lebenswelt) zurückzuschreiten. 
Daher die neue Praxis des Komputierens und Projizierens von Punktelementen 
zu Linien, Flächen, Körpern und uns angehenden Körpern.? 


Flusser sieht am Endpunkt dieser medialen Einklammerung eine Kehrtwende, 
durch die das schrittweise ‚Zurücktreten aus‘ der Welt ersetzt wird von einem 
projektiven ‚Design von‘ Welt. Das „Projizieren“ aus der Nulldimensionalität 
versteht er als ein neuerliches In-Form-bringen der in Punkte zerfallenen Welt 


2 Flusser, „Vom Subjekt zum Projekt. Menschwerdung‘, S. 2ıf. 
3 Ebd,S.22. 
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der Kalkulation. Der Fortschritt dieser Umkehrung erfolgt wiederum in Stu- 
fen, wobei aus der Nulldimensionalität der Punkte zunächst wieder Bilder 
entstehen. Diese neuen Bilder sind keine Stellvertreter oder Repräsentatio- 
nen einer bestehenden Wirklichkeit, sondern sie sind Visualisierungen zuvor 
nicht sichtbarer digitaler Informationen. Die algorithmisch erzeugten synthe- 
tischen Bilder funktionieren Flussers Auffassung nach vollkommen anders als 
die alten Bilder der Abstraktion aus der dreidimensionalen Welt der Objekte. 
Sie sind keine ‚Zeugen von‘ oder ‚Abkürzungen aus‘ einer Welt ‚dort draußen‘, 
sondern sie bieten Möglichkeiten, zukünftige Welten als Erfindungen, als Ent- 
würfe von etwas Neuem zu projizieren: 


Soweit sie überhaupt den Namen „Bild“ verdienen, deuten die neuen synthe- 
tischen Bilder auf die Gegenseite der hergebrachten: [...] Die alten Bilder sind 
einer abstrahierenden, zurücktretenden „Imagination“, die neuen einer konkre- 
tisierenden, projizierenden ‚Einbildungskraft‘ zu verdanken. Wir denken also 
nicht etwas imaginativ magisch, sondern im Gegenteil einbildend entwerfend.4 


Die Bedeutung der neuen, digitalen Bildlichkeit liegt demnach auch in ihrer 
strukturellen Verwandtschaft zur menschlichen Einbildungskraft, die beim 
Entwerfen von Architektur von jeher eine zentrale Rolle einnimmt. Digitale Bil- 
der sind als dynamische, willentlich veränderbare, also interaktive Computer- 
animationen ähnlich beweglich und offen, wie es Gedankenbilder sind. Mit 
Hilfe digitaler Medien lässt sich die Einbildung regelrecht ins Sichtbare trans- 
formieren. „Man kann etwas sehen, was man sich vorher nur vorstellen konnte: 
Man stellt nicht mehr Produkte der Phantasie dar, sondern präsentiert bildlich 
den Akt des Vorstellens im Sichtbaren und damit im Öffentlichen.“ Vorrangiger 
Nutzen dieser neuen Bilder ist nicht mehr die Verstärkung der Wahrnehmung, 
sondern die durch sie ermöglichte Verstärkung der Vorstellungskraft. Das 
reduktive ‚Abstrahieren von‘ tritt in den Hintergrund gegenüber dem pro- 
jektiven Potenzial eines ‚Entwerfens nach‘. So ideal der Einsatz digitaler Bild- 
lichkeit im architektonischen Gestaltungsprozess demnach auch ist, es bleibt 
ein Defizit bestehen: Während Gedankenbilder sich frei transformieren lassen 
und auch als dreidimensionale Vorstellungen in Erscheinung treten können, 
bleiben die im Zitat von Lambert Wiesing angesprochenen digitalen Bilder 
(die ihrerseits Visualisierungen dreidimensionaler digitaler Modelle sind) in 
ihrer Anschaulichkeit zweidimensional. Obwohl diese Bilder, als echtzeitliche 
Ableitungen dreidimensionaler Artefakte, dynamisch veränderlich erscheinen, 
sind sie gebunden an die Sichtbarwerdung auf flachen und in der Ausweitung 


4 Ebd,S.25. 
5 Wiesing, ‚Virtuelle Realität: die Angleichung des Bildes an die Imagination“, S. 25. 
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begrenzten Monitoren. Die systematische Bindung digitaler Bildlichkeit an 
die freie, veränderliche Dimensionalität der Einbildungskraft blendet das 
reduktive Moment der dimensionsverkiirzenden Sichtbarmachung aus. Die 
möglichst unmittelbare Zugänglichkeit zu einer dynamisch-interaktiven, also 
vierdimensionalen virtuellen Bildlichkeit erfordert die Uberwindung der zwei- 
dimensionalen Vermittlungsebene; sie verlangt nach unumwundenem, wenn 
man so will: intentionalem Zugriff. 

Das hiermit gemeinte ,Eintreten ins Bild‘ wird mit den heute verfiigbaren 
VR-Systemen mit verhältnismäßig geringem finanziellem und technischem 
Aufwand möglich. Auch wenn der interaktive 3D-Eindruck von Virtual Rea- 
lity weiterhin durch das Ausvisualisieren zweidimensionaler Abbilder des 
dreidimensionalen Aktionsraums auf zwei augennah getragenen Displays 
erfolgt, wird mit dieser Technik ein dem natürlichen Raumeindruck sehr nahe- 
kommendes Raumerlebnis hergestellt, das ohne begrenzende Zwischenebenen 
auskommt. Der erzeugte Eindruck einer kontinuierlichen und den Betrachter 
gänzlich umschließenden Bildwirklichkeit stellt gleichwohl nicht das eigent- 
liche Novum dieser medialen Raumkonstruktionen dar. Der immersive Effekt 
des scheinbaren Eintauchens in einen bildbasierten Wahrnehmungsraum ist 
weder neu noch an digitale Bildlichkeit gebunden. Die historische Linie visu- 
eller Raumentgrenzungsverfahren lässt sich von 3D-Filmbildern des 20. Jahr- 
hundert über gebaute Rundpanoramen des 18. und 19. Jahrhunderts bis hin zu 
barocken und sogar antiken illusionistischen Raumerweiterungen in Form von 
Wand- und Deckenbildern zurückverfolgen.® Wirklich neu gegenüber diesen, 
die anwesenden Personen zu weitgehend passiven Beobachter:innen redu- 
zierenden Immersionsräumen ist hingegen die Möglichkeit des direkten und 
echtzeitlichen Zugriffs auf die Elemente und Strukturen des sich darbietenden 
Bildraums.? Das Manipulieren von Objekten und das Entwerfen von Dingen 
im Bildraum des Digitalmodells erweitert die gestalterischen Möglichkeiten 
gegenüber allen seit der Renaissance entwickelten Entwurfsmethoden auf 
substanzielle Weise. 


6 Vgl. Grau, „Bildarchitektur. Zur Geschichte und Aktualität des bildlichen Illusionsraumes“, 
S. 107. 

7 Siehe hierfür die ersten Arbeiten, die einen interaktiven Zugriff auf einen dynamischen Bild- 
raum zuließen, wie das Projekt „Aspen Moviemap“, das allgemein als die erste umgesetzte 
hypermediale und interaktive Foto-Karten-Anwendung gilt. Es entstand in den Jahren 1977- 
1980 am MIT (Cambridge, Mass.) als Studentenprojekt von Peter Clay, in Zusammenarbeit 
mit den MIT-Studenten Bob Mohl und Michael Naimark. Siehe auch die Videoinstallationen 
PlaceRuhr und Place - a user's manual von Jeffrey Shaw aus den Jahren 1995-2000. 
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Neue Gesten des Entwerfens: Performative Körperbilder 


Interessanterweise stellt das entwerferische Arbeiten an digitalen Modellen 
mittels VR-Technik für viele Anwender:innen eine große Herausforderung 
dar. Die häufig zu beobachtenden, wild kreisenden Bewegungen des virtuellen 
Zeichenstifts sagen: „Nimm nicht ernst was ich tue! Ich kann es nicht und ich bin 
überfordert, weil meiner erlernten Methoden beraubt.“ Die distanzschaffenden 
und regelhaften Techniken zweidimensionaler Raumkontrolle, wie sie sich seit 
der Trennung von Bauplatz und Entwurfsarbeit etabliert haben, lassen gerade 
erfahrene Architekt:innen zunächst wie Amateure agieren. Im Zentrum dieser 
Überforderung steht das Fehlen von Entwurfstechniken, die das eigene Han- 
deln reglementieren und stabilisieren, insbesondere aufgrund des Wegfalls 
dimensionaler und maßstäblicher Reduktion. Die Manifestation einer Ent- 
wurfsidee und der Zugriff auf die Gestaltungsinhalte ergeben sich nicht länger 
durch das diskrete Berühren einer Tastatur oder das Bewegen einer Computer- 
maus. Auch wenn Vilem Flusser die Geste des digitalen Zeitalters als eine von 
„Fingerspitzen“, welche Knöpfe und Tasten bedienen, beschrieben hat,’ so sind 
die zum Gestalten in einem virtuellen Bildraum nötigen Aktionen doch wie- 
der raumgreifende, mithin den gesamten Körper involvierende Gesten.? Mit 
den neuen Optionen des Zugriffs auf digitale Raumbilder steht der mensch- 
liche Maßstab bereits im Zentrum des entwerferischen Handelns. Die eigene 
Leiblichkeit wird zu einem wesentlichen Moment der Raumproduktion. Weil 
die etablierten Techniken architektonischen Entwerfens in VR-Umgebungen 
nicht mehr geeignet sind, mag der vergleichende Blick auf andere Methoden 
räumlich aktiver, leiblich gesteuerter Gestaltungsprozesse hilfreich sein. Eine 
geeignete Referenz können performative Praktiken des prozessualen Hervor- 
bringens raumgreifender Bilder unter Einsatz körperlicher Aktivität darstellen. 
Die Erziehungswissenschaftler Christoph Wulf und Jörg Zirfas betonen, welch 
zentrale Stellung Bildlichkeit in performativen Prozessen hat: 


Bei Phantasie und Imagination, Einbildungskraft und Imaginärem handelt es 
sich um Kräfte, die, wenn sie performativ werden, Bilder erzeugen. Diese Bil- 
der sind körperlich. Um gesehen zu werden, bedürfen sie eines Mediums. Im 
Zusammenspiel der im Körper wurzelnden Fantasie und eines Mediums werden 


8 Vgl. Flusser, „Das Unding 2‘, S. 87. 

9 Dass eine solche Körperlichkeit beim Bedienen von Apparaten auch in Flussers 
Betrachtungen auftaucht, kann anhand seiner Beschreibungen zur professionellen Ver- 
wendung von Fotoapparaten mit der von ihm als „Geste des Fotografierens“ bezeichneten 
Bildaufnahme erkannt werden. Vgl. hierzu Reinfeld, „This is Real. Architektonisches Ent- 
werfen in Virtual Reality“, S. 36-39. 
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aus mentalen Bildern äußere Bilder, die in mimetischen Prozessen wieder zu 
inneren Bildern werden kénnen.!° 


Unter „performativ“ wird hier eine mit Körpereinsatz hergestellte, medial 
bedingte Wechselwirkung zwischen unterschiedlichen bildlichen Erschei- 
nungsformen verstanden. Imaginationen werden performativ sichtbar ge- 
macht und mit dem Umraum in Interaktion gebracht, so dass Verkreuzungen 
zwischen körperlicher Aktion und bildlicher Repräsentation entstehen. Ein 
solches künstlerisch-performatives Handeln zielt nicht primär auf die Er- 
zeugung einer finalen Form ab, was diese Praktik für das Entwerfen von Raum- 
bildern in einer VR-Umgebung besonders interessant macht. Körperaktive 
architektonische Gestaltungsarbeit in virtuellen Entwurfsräumen ermöglicht 
eine Blickwendung: eine Verschiebung weg von der Frage nach dem ‚Was‘ 
eines (Entwurfs-)Objekts hin zum ‚Wie‘ seiner körperlich bedingten Genese, 
zur Methodik eines aktiven, immersiv angelegten Entwurfsprozesses. Bei die- 
ser Art des Entwerfens steht nicht mehr die stufenweise und über Maßstabs- 
und Detailebenen erfolgende Festschreibung eines finalen Objektzustands im 
Zentrum, sondern das jetztzeitliche, medial bedingte und körperlich aktive 
Wechselspiel zwischen Imagination, dreidimensionaler Szene und bildlicher 
Repräsentation. Mit Hilfe des Körpers kann den Bildern der Vorstellung direkt 
räumlicher Ausdruck verliehen werden. Darunter sind im Kontext des archi- 
tektonischen Gestaltens keine darstellerischen oder theatralen Darbietungen 
zu verstehen. Die entwerfende Person und andere, diesem Prozess im virtuel- 
len Raum beiwohnende Personen können gleichsam in eine Erweiterung des 
eigenen oder eines gemeinschaftlichen, fluiden Vorstellungsraums eintreten 
und diesen aktiv und im Wechselspiel mit den eigenen Vorstellungsbildern 
verändern. Performatives Handeln bedeutet in diesem Verständnis, gegenüber 
bildhauerischer Arbeit ebenso wie gegenüber klassischer Entwurfstätigkeit, 
die Trennung zwischen ‚Jetzt‘ und ‚Später‘ und zwischen ‚Hier‘ und ‚Andern- 
orts‘ teilweise aufzugeben. 


Entwerfen als Wirklichkeit 


Aufgrund ihrer jetztzeitlichen, interaktiven Zugänglichkeit und ihrer real- 
maßstäblichen Ausdruckskraft erzeugen VR-Umgebungen ein derart hohes 
Präsenzgefühl, dass sie selbst bereits wirklichkeitskonstituierende Kraft 
entfalten. Das Entwerfen verliert dadurch seine dienende Rolle als Mittel für 


10 Wulf, „Anthropologie der Bilder“, S. 48. 
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einen zukiinftigen, andernorts zu erstellenden Raum erster Ordnung. Die seit 
der Renaissance getrennte ‚erste Wirklichkeit‘ der baulichen Architektur und 
‚sekundäre Wirklichkeit‘ des Entwurfsprozesses nähern sich mit dem körper- 
lich aktiven, prozessualen Entwerfen in, mit und von virtueller Räumlichkeit 
wieder an. Das Diktum des Architekturentwurfs als Wette auf ein ‚Es wird so 
sein‘ tritt gegenüber dem Hier und Jetzt der virtuellen, dabei körperlich wirk- 
samen Raumerfahrung in den Hintergrund. Der virtuelle Architekturentwurf 
ist nicht länger nur ein Versprechen für die Zukunft, sondern ist als (Bild-) 
Raum betretbar, ohne dass er überhaupt zu materieller Baulichkeit gelangen 
muss. 

Diese Veränderung der Funktionen physisch gebauter Räumlichkeit und 
virtueller Entwurfsräumlichkeit ist über die Frage architektonischer Gestal- 
tungsprozesse hinaus von Bedeutung, seit sich Teile der Arbeitswelt verstärkt 
in virtuelle Raumerweiterungen verlagert haben. Das umfasst zum einen die 
sprunghafte Virtualisierung menschlicher Begegnungen in Videokonferenzen 
mit Beginn der COVID-ıg-Pandemie, die die Auseinandersetzung mit den bild- 
räumlichen Eigenarten dieser virtuellen Orte zur konkreten architektonischen 
Herausforderung macht. Zum anderen geraten auch jene virtuellen Wirklich- 
keiten in den Blick, die selbst teilweise oder ganz als kollektiv zugängliche 
Raumerweiterung angelegt sind. Mit der Ankündigung des Facebook-Gründers 
Mark Zuckerberg, große Teile der unter dem Dach der Meta-Plattform organi- 
sierten sozialen Netzwerke mittels VR- und AR-Technik erlebbar zu machen 
wird deutlich, wie umfassend unser Zusammenleben zukünftig durch vir- 
tuelle Umgebungen geprägt werden könnte. Der Umstand, dass global agie- 
rende Technologiefirmen die Ausgestaltung solcher Räume weitgehend unter 
ökonomischen Gesichtspunkten verhandeln werden, unterstreicht die Not- 
wendigkeit für Architekt:innen, sich dieser Aufgabe mit Blick auf soziale, 
gesellschaftliche und ästhetische Aspekte anzunehmen. 


Technisch reflexive Räume 


Wie auf einer mittelalterlichen Baustelle bestehen auch beim Einsatz von VR- 
Systemen durch die Verwendung technischer Werkzeuge bestimmte Handlungs- 
grenzen, die die Optionen der Raumgenese einschränken. Wirkungsweise und 
Bedeutung sowohl ermöglichender als auch beschränkender Instrumente — 
hier computergestützte VR-Technik, dort die Werkzeuge der mittelalterlichen 
Baustelle — unterscheiden sich selbstredend extrem. Auch hier kann es hel- 
fen sich eine Einordnung Vilem Flussers zu vergegenwärtigen, in der er die 
Besonderheit der Bedienung eines augennah verwendeten optischen Apparats 
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(die Fotokamera mit Durchsichtsucher) dem konventionellen maschinellen 
Arbeiten gegeniiberstellt. 


Anders als der vom Werkzeug umgebene Handwerker und der an der Maschine 
stehende Arbeiter ist der Fotograf im Apparat drinnen und mit dem Apparat 
verflochten. Dies ist eine neuartige Funktion, bei der der Mensch weder die Kon- 
stante noch die Variable ist, sondern in der Mensch und Apparat zu einer Einheit 
verschwimmen.!! 


Sicher ist die Verwendung von VR-Brillen nicht der Verwendung eines augen- 
nah positionierten Fotoapparates gleichzusetzen, gleichwohl sind die Spezifika 
der Verflechtung und des „Im-Apparat-Seins“ bei der Nutzung von VR-Brillen 
eher noch stärker gegeben.!? Flusser weist in seinen Untersuchungen zur Foto- 
grafie immer wieder darauf hin, dass die besondere Interaktion zwischen 
Kamera und Körper des Fotografen nur dann zu tiberraschenden Ergebnissen 
führen kann, wenn letzterer ein Profi seines Fachs ist, er mithin eine besondere 
„Geste des Fotografierens“!? beherrscht. Ein Amateur, ein „Knipser“, wie 
Flusser ihn bezeichnet, steht nicht ‚über‘ dem Fotografieren, sondern ist von 
der Gier seines Apparates verschlungen, zu dessen verlängertem Selbstaus- 
löser geworden. Sein Verhalten ist „automatisches Kamera-Funktionieren. Ein 
ständiger Fluß bewußtlos erzeugter Bilder ist die Folge.“4 Wird die Kamera — 
bzw. ein VR-Headset - also unreflektiert oder „bewusstlos“ verwendet, dann 
sind die Grenzen des Handelns eng gesetzt, und die Ergebnisse bleiben im 
Rahmen dessen, was Hard- und Softwareentwickler sich beim Programmieren 
der Technik vorgestellt haben mögen. Wird die Funktionalität des Mediums 
aber von ihren Nutzer:innen reflektiert besteht die Möglichkeit, diese Gren- 
zen zu dehnen oder sie gar zu überschreiten. Flusser spricht in diesem 
Zusammenhang von der Möglichkeit, die Apparate zu überlisten, indem mit 
ihnen „gespielt“ wird. So kann es gelingen, einem „Künstler“, einem ,listigen 
Umdreher und Wender“ gleich, dem Apparat andere Ergebnisse zu entlocken 
als auf seiner ersten, programmierten Nutzungsebene vorgesehen ist.!? Um, 
im Sinne einer autonomen Verwendung von VR-Technik, möglichst frei zu 
sein, muss der Apparat (das VR-Setup) hinsichtlich seiner medialen Möglich- 
keiten ausgelotet werden. Das bedeutet, die Potenziale einer entwerferischen 
Praxis mittels VR-Technik jenseits der etablierten Methoden dimensionaler 


11 _ Flusser, Für eine Philosophie der Fotografie, S. 25f. 

12 Siehe Reinfeld, „This is Real. Architektonisches Entwerfen in Virtual Reality“, S. 43-45. 
13 _ Flusser, „Die Geste des Fotografierens‘, S. 95. 

14 Flusser, Für eine Philosophie der Fotografie, S. 53. 

15 Vel. Flusser, „Bilderstatus“, S. 77. 
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und zeichnerisch-symbolischer Reduktionen und Normen zu erkunden und 
als Entwurfstechniken voranzutreiben. 


Projektbeispiele 


Um architektonische Entwurfspraktiken mittels VR zu erforschen und weiter- 
zuentwickeln wurde am Institute of Media and Design der TU Braunschweig 
im Jahr 2016 ein Forschungsschwerpunkt etabliert. Unter enger Einbindung 
von Studierenden werden die praktischen wie theoretischen Potenziale und 
Herausforderungen dieser Entwurfsmethode fokussiert.!6 Die im Folgenden 
beispielhaft vorgestellten studentischen Arbeiten stammen aus Lehrver- 
anstaltungen, die im Rahmen des Forschungsschwerpunkts durchgeführt 
wurden; sie erkunden die Möglichkeiten echtzeitlichen Zeichnens und Model- 
lierens unter Einsatz von VR-Technologie. 


Eintreten ins Bild: Zeichnen virtueller Raumbilder 

Visionäre Architekturzeichnungen, wie sie in den 1960er bis 1980er Jahren 
etwa Raimund Abraham, Yona Friedman, Superstudio, Archigram oder das 
Office for Metropolitan Architecture (OMA) veröffentlichten, wurden zu rele- 
vanten Wirklichkeiten des architektonischen Diskurses, ohne je baulich rea- 
lisiert worden zu sein. Bei utopischen Architektur- und Stadtvisionen spielt 
die ambivalente Bedeutung der sichtbaren Bildobjekte oft eine zentrale Rolle. 
Sie rufen das Verlangen hervor, die Bildebene zu durchbrechen und in den 
Darstellungsraum einzutreten, um sich Klarheit über die dreidimensionale 
Realität ‚hinter‘ dem Bild zu verschaffen. In einem darauf Bezug nehmenden 
VR-Entwurfsprojekt galt es, diese bildliche Unmöglichkeit nicht als Mangel, 
sondern positiv gewendet als gestalterisches Potenzial zu begreifen. Mit Hilfe 
von VR-Technik ist es möglich, das hinter den zweidimensionalen zeichneri- 
schen Visionen liegende virtuelle räumliche Potenzial für eine entwerferische 
Auseinandersetzung zu erschließen und so den unbestimmten, polysemen 
Raum dieser Entwürfe gestalterisch zu aktivieren, zugänglich zu machen. 

Ausgangspunkt einer VR-Arbeit war der Wettbewerbsbeitrag „Exodus 
or the Voluntary Prisoners of Architecture“ des niederländischen Office for 


16 Im Jahr 2019 wurde der Lehr- und Forschungsschwerpunkt unter dem Titel „Archi- 
tektonisches Entwerfen in der Virtuellen Realität - VR Raumzeichnen“ in das vom BMBF 
geförderte „Innovationsprogramm Gute Lehre“ der TU Braunschweig aufgenommen. 
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Metropolitan Architecture (OMA)!? aus dem Jahr 1972. Es handelt sich um den 
Entwurf fär eine in das historische Zentrum Londons eingeschnittene, aus 
einzelnen Funktionsbereichen bestehende Bandstadt. Die kiinftigen Bewoh- 
ner:innen dieser von hohen Mauern umschlossenen Stadtenklave begeben sich 
in eine Art freiwillige Gefangenschaft, durch die sie zu privilegierten Bürgern 
werden — eine Anspielung auf die von Rem Koolhaas wenige Jahre zuvor für 
seine Abschlussarbeit an der Londoner Architectural Association untersuchte 
Situation West-Berlins als Mauerstadt („The Berlin Wall as Architecture‘).!® 
Der Wettbewerbsbeitrag von 1972 besteht aus insgesamt achtzehn Zeichnun- 
gen, Aquarellen und Collagen sowie einem begleitenden manifestartigen 
Text mit fünfzehn Abschnitten. Die darin beschriebenen Stadtquartiere mit 
ihren spezifischen programmatischen Zielsetzungen zeigen aus heutiger Sicht 
eine gewisse Verwandtschaft zur Funktions- und Wirkungsweise sogenannter 
Levels in einem Videospiel. Die Abschnitte bilden separierte, nach außen radi- 
kal abgegrenzte architektonische Welten mit jeweils eigenem thematischem 
Schwerpunkt. Im Inneren zeigen sie sich als Orte der Verheißung und der über- 
bordenden Phantasie. Die Autor:innen des studentischen VR-Projekts,!? das 
sich auf den frühen OMA-Entwurf bezog, lasen den Übergang von der alten 
baulichen Wirklichkeit Londons in die neue Stadt wie das Durchdringen einer 
Bildoberfläche, hinter der sich eine unbekannte, verheißungsvolle virtuelle 
Welt von Möglichkeiten entfaltet. Die Frage nach der Beschaffenheit der dabei 
sich eröffnenden dritten Dimension wurde als entwerferische Herausforderung 
verstanden, die direkt an die im Entwurfsmanifest von OMA beschriebene 
zentrale Funktion des sogenannten „Empfangsbereichs“ im 5. Quadranten der 
Stadterweiterung anknüpfte: 


Die Aktivitäten zeigen, dass das einzige Anliegen der Teilnehmer die gegen- 
wärtige und zukünftige Ausrichtung des Bandes ist. Sieschlagen architektonische 
Verfeinerungen, Erweiterungen und Strategien vor. Begeisterte Gruppen unter- 
schiedlicher Größe arbeiten die Vorschläge in den speziell für diesen Zweck 
errichteten Räumen aus, während andere das Modell ständig modifizieren. Die 
widersprüchlichsten Programme verschmelzen miteinander, ohne das Ganze zu 
erodieren. Die schamlose Freizügigkeit dieser Aktivitäten macht diesen Platz zu 
einem Behältnis für das vollständige Spektrum menschlicher Begierden. Er ist 
ein spontanes Planungszentrum.?° 


17 Seinerzeit bestehend aus Rem Koolhaas, Madelon Vriesendorp, Elia Zenghelis und Zoe 
Zenghelis. 

18 Koolhaas, „Field Trip: (A)A Memoir. The Berlin Wall as Architecture“, S. 212-234. 

19 Fabian Bahr, Lea Schulze, Laura Thießen, Caroline Zessack. 

20 Koolhaas et al., „EXODUS oder Die freiwilligen Gefangenen der Architektur“, S. 39. 
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Die erste Aufgabe der neuen Stadtbewohner:innen besteht in einer fort- 
laufenden entwerferischen Verfeinerung und Erweiterung ihrer zukiinftigen 
Lebensumwelt - eine auffällige Analogie zur Gestaltungsarbeit in VR-Ent- 
wurfsumgebungen, bei der das Ziel einer idealen, finalen architektonischen 
Gestalt gegeniiber dem spontanen Entwerfen einer wandelbaren Lebenswelt 
in den Hintergrund tritt. Solche programmatischen Ahnlichkeiten zwischen 
den Eigenschaften der fiinfzehn Bandstadtbezirke und den einleitend dar- 
gestellten Spezifika virtueller Realitäten als kérperlich betretbare, performative 
Imaginationsräume durchziehen die weiteren Kapitel des OMA-Manifests wie 
ein roter Faden. Um den neuen Aufgaben dieser „Aktivitäten im Empfangs- 
bereich“ gerecht werden zu können, ist laut Koolhaas eine „Überwältigung 
zuvor vernachlässigter Sinne“?! notwendig. Die ankommenden „Amateure“ 
müssen zunächst ihre Aufmerksamkeit für die neuen Aufgaben trainieren. Im 
sogenannten „Park der vier Elemente“, dem dritten Quadranten des Bandes, 
durchdringen, überschneiden und beeinflussen sich realräumliche Zustände, 
bildlich-visuelle Erscheinungen und gedankliche Zusammenhänge gegen- 
seitig. Die Unmöglichkeit, jemals durch die Oberfläche eines Bildes in seinen 
Bedeutungsraum eintreten zu können, wird szenisch veranschaulicht: 


Am Ende vier linearer Hohlkammern projizieren Fata-Morgana-Maschinen Bil- 
der wünschenswerter Ideale. Diejenigen in der Wüste, die die Röhren betreten, 
rennen los, um diese seligmachenden Bilder am Ende zu erreichen. Doch da 
sie sich auf einem gegenläufigen Laufband befinden, das mit abnehmendem 
Abstand zwischen der Fata Morgana und dem Läufer immer schneller wird, 
kommt es niemals zu einer tatsächlichen Berührung zwischen beiden.?? 


Bei der ‚retroaktiven‘ Auseinandersetzung mit diesem OMA-Entwurf zei- 
gen sich vielfältige Anknüpfungspunkte für die Adaption in einem Virtual- 
Reality-Environment. Das eigentliche VR-Projekt wurde in einer Reihe von 
Entwurfssitzungen ausgearbeitet. Die elf in der Originalarbeit im Stadt- 
raum nebeneinander platzierten Quadranten des Bandes werden in der 
VR-Überarbeitung aus ihren festen Positionen befreit und in sich teilweise 
überlagernde, wechselwirkende Abschnitte überführt. Die Maßstäblichkeit 
der virtuellen Raumelemente kann im Projekt uneinheitlich angelegt wer- 
den, weil sich Größenverhältnisse wie auch der Gesamtraum selbst durch 
die verwendete VR-Zeichensoftware GravitySketch umstandslos durch Hand- 
bewegungen gleitend verändern lassen. Der Entwurf wird zu einem multi- 
medialen Aktionsraum, dessen verschachtelte Szenen von einem HMD-Träger 


21 Ebd, S. 37. 
22 Ebd, S. 39. 


38 PHILIPP REINFELD 


in körperlicher Aktion dynamisch verbunden und somit sichtbar gemacht 
werden [Abb. 3.1]. Die VR-Brille des ,Performers' fungiert hier als Kamera einer 
Live-Videoiibertragung. Er bewegt sich durch den virtuellen Entwurfsraum 
und inszeniert mit der Aktivität seines ganzen Körpers die unterschiedlichen 
Bereiche des 3D-Modells, ohne dabei durch virtuelle Teleportationsspriinge 
den Raumfluss zu unterbrechen [Abb. 3.2]. 
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Abb. 3.1 VR-Adaption von ,Exodus or the Voluntary Prisoners of Architecture". 
Diagrammatische Darstellung des Auftritt-Setups im Eingangsbereich des 
Architekturmuseums der TU Berlin, 2020. 


Das in derselben Lehr-Forschungseinheit entstandene Projekt ,Tuned Ber- 
lin“ geht ebenfalls auf eine ikonische Architekturvision des 20. Jahrhunderts 
zurück. Die als Vorbild dienende Arbeit ,Tuned Suburb“ der Architekten- 
gruppe Archigram aus dem Jahr 1968 besteht aus einer Reihe collagierter Stadt- 
darstellungen, in denen eine technische und programmatische Aktualisierung 
und Verdichtung suburbaner Räume vorgeschlagen wird. Die Autor:innen des 
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Abb. 3.2 VR-Adaption von „Exodus or the Voluntary Prisoners of Architecture“, IMD, 2019. 


VR-Projekts?? nahmen die inhaltlichen Fragestellungen und gestalterischen 
Strategien von ,Tuned Suburb“ als Ausgangspunkt einer entwerferischen Aus- 
einandersetzung mit den Besonderheiten verschiedener Berliner Stadtbezirke. 
Insbesondere versuchten sie, das fiir Archigram charakteristische comichafte 
Zusammenfiihren unterschiedlicher (massen)medialer Informationen auf 
intelligente Weise in die 4 mal 4 mal 4 Meter messende Arbeitsumgebung 
des VR-Trackingraums zu übertragen. Hierfür bestückten sie den virtuellen 
Raum zunächst mit einer großen Menge an Daten in Form von Fotos, (Video) 
Bildern, Karten, Texten, Sounds und anderen Informationsquellen, die sie für 
das Projekt als relevant erachteten. Die Auswahl der Informationen geschah 
dabei bewusst subjektiv. Sie folgte individuellen Interessen und ging auf 
persönliche Verbindungen der vier Entwerfer mit der Stadt Berlin zurück. 
Die importierten Medien wurden im VR-Raum dreidimensional geordnet 
und miteinander verknüpft. Dabei ermöglichte die räumliche Anordnung der 
Informationen und ihre potenziell ‚realmaßstäbliche‘ Repräsentation andere 
Assoziationsweisen, als sie mit ausschnitthaften und flächigen Darstellungen 
umsetzbar wären: Elemente in Fotografien oder Grafiken können in den 


23 Tamim Arab, Friedrich Brockmann, Julius Dettmers, Ole Frieling. 
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virtuellen Entwurfsraum hinein entwickelt, räumliche Beziige zwischen Bil- 
dern zeichnerisch erweitert und Bilder selbst als modellierbare Flächen in 
geometrische Strukturen umgewandelt werden [Abb. 3.3]. So entstanden an 
verschiedenen Orten des VR-Raums zunächst inselhafte, szenische Inter- 
pretationen unterschiedlicher Themen der Stadt Berlin, die von den Entwurfs- 
beteiligten intuitiv und im intensiven Austausch untereinander immer weiter 
angereichert, verdichtet und fortentwickelt wurden, bis räumlich-strukturelle 
Uberschneidungen und Verkniipfungen entstanden. Randständige und indi- 
viduell interpretierte Themen der Berliner Stadtrealität konkretisierten sich 
hierdurch auf räumlich-architektonische Weise [Abb. 3.4]. Aufgrund ihrer 
realmaßstäblichen Dimension erzeugten die Szenen ein großes Präsenzgefühl, 
das wirklichkeitskonstituierende Kraft entfaltete. 

Das VR-Entwurfsprojekt ,Tuned Berlin“ kann mit Hilfe eines Head-Mounted 
Displays eigenständig erkundet werden. Besondere Ausdruckskraft entwickelt 
es jedoch, wenn einer der Entwurfsautoren selbst die maßstäblichen Über- 
gänge und inhaltlichen Zusammenhänge der unterschiedlichen Elemente 
und Szenen des Projekts in körperlicher Aktivität sichtbar macht. Die VR- 
Brille dient hierbei wiederum als Kamera für eine großformatige Projektion 
der ‚getunten‘ Berliner Stadtvision. Wie ein Flaneur bewegt sich der HMD- 
Träger durch die von ihm gleitend skalierten Elemente des Raums und bringt 
so immer neue Szenen der virtuellen Stadt zur Sichtbarkeit oder entwickelt 
sie währenddessen weiter. Entwerfen und Betrachten, Präsentieren und Fort- 
schreiben werden zu nicht mehr abgrenzbaren Kategorien dieser äußerst sub- 
jektiven Stadtaneignung. 

Beide Entwurfsprojekte, ,Tuned Berlin“ und „Exodus“, wurden im Feb- 
ruar 2020 im Rahmen der Ausstellung Experimental Diagramming im Archi- 
tekturmuseum der TU Berlin präsentiert. Die Startszene der Präsentation des 
erstgenannten Projekts war als erkennbare Doppelung des realphysisch vor- 
handenen Auftrittsorts mit seiner Sichtbeziehung zum nahegelegenen Ernst- 
Reuter-Platz angelegt [Abb. 3.5]. Diese inhaltliche Koppelung von Entwurfsort 
und Entwurfsthema steht beispielhaft für eine Vielzahl von VR-Projekten, 
die im Rahmen des Lehr-Forschungsschwerpunkts „Architektonisches Ent- 
werfen in der virtuellen Realität“ umgesetzt werden. Hinter dieser als „VR on 
Site“ bezeichneten Entwurfsstrategie steht die Überzeugung, dass die körper- 
liche Verbindung zum physischen Umraum kein unbedeutender Faktor ist, 
sondern eine produktiv nutzbare Variable der gestalterischen Arbeit in VR- 
Entwurfsräumen darstellt. 
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Abb. 3.4 Rendering der Gesamtübersicht des VR-Projekts „Tuned Berlin“, 
IMD, 2020. 
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Offentliche Präsentation des VR-Projekts ,Tuned Berlin" im Eingangsbereich des 
Architekturmuseums der TU Berlin, 2020. 


VR on Site 
Im VR-Entwurfsprojekt ,Unbefugte Nutzung“ wurde eine konkrete Ver- 
bindung zwischen dem Entwurfsgrundstück und dem Aufstellungsort der 
VR-Anlage hergestellt. In Kooperation mit einer Braunschweiger Immobilien- 
entwicklungsgesellschaft konnte eine Gruppe Studierender ein halbes Jahr 
lang in einem ehemaligen Wohnhochhaus der Braunschweiger Weststadt in 
drei im obersten Geschoss des Gebäudes eingerichteten VR-Entwurfsräumen 
zukünftige Nutzungsmöglichkeiten des Hauses erproben. Im Zentrum stand 
die Frage, wie die besonderen Potenziale des raumbasierten Entwerfens in 
einer VR-Umgebung für die Untersuchung der Lebensqualität in einem Hoch- 
haus produktiv gemacht werden können. Ab einer gewissen Wohnhöhe ist die 
Differenz zwischen dem physisch erreichbaren Nahbereich der Wohnung und 
dem nur visuell verfügbaren Fernbereich der Umgebung besonders ausgeprägt. 
Der städtische Umraum am Fuße des Hauses bildet zudem einen Wirkungs- 
bereich, welcher der direkten Wahrnehmung innerhalb der Wohnung weitest- 
gehend entzogen ist. Diese unterschiedlichen Erfahrungsräume ähneln in 
gewisser Weise der Situierung innerhalb eines VR-Environments. Auch hier 
können große Unterschiede bestehen zwischen einem körperlich erfahrbaren 
Nahbereich innerhalb der Trackingzone und den visuellen Erweiterungen des 
haptisch zugänglichen Raums in einer weitläufigen virtuellen Szenerie. Um 
diese unterschiedlichen Einflussbereiche aktiv zu untersuchen, wurden in 
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mehreren Entwurfsprojekten zunächst Teile des Wohnumfeldes realmaßstäb- 
lich in den virtuell zugänglichen Raum des circa 4 mal 4 Meter messenden 
Trackingbereichs übertragen, so dass partielle Doppelungen zwischen virtuel- 
lem und realem Raum entstanden [Abb. 3.6]. 


Abb. 3.6 Präsentation eines VR-Entwurfsprojekts aus der Lehr- und 
Forschungsveranstaltung „Unbefugte Nutzung“, Braunschweig, 2020. 


Attraktionen der fußläufig erreichbaren Umgebung wie ein Flohmarkt, eine 
Schrebergartensiedlung oder die direkt benachbarten Einkaufszentren und 
Baumärkte wurden ausschnitthaft in den virtuellen Wohnbereich aufgenom- 
men. Dazu wurden interessante Orte des Fernbereichs wie historische Bau- 
ten der Braunschweiger Altstadt, Teile des innerstädtischen Parks entlang der 
Oker und das in direkter Sichtbeziehung liegende Gelände der Wolters Braue- 
rei ebenfalls zeichnerisch in den VR-Trackingbereich integriert. Weil der Blick 
in südlicher Richtung bei klarer Sicht bis in den knapp fünfzig Kilometer ent- 
fernten Harz und zum Gipfel des Brocken reicht, wurden auch Bestandteile 
dieses Naherholungsgebiets in die virtuelle Ausstattung des privaten Wohn- 
bereichs integriert. Auf diese Weise füllte sich der Wohnraum mit virtuellen 
Bruchstücken des Umraums, bis diese miteinander in Kontakt gerieten, sich 
überlagerten und interferierten. Während Dinge aus dem Nahbereich meist 
vollplastisch in den virtuellen Raum integriert wurden und so teilweise hap- 
tisch erfahrbare Entsprechungen in der Realität besaßen, wurden Elemente 
aus weiterer Entfernung überwiegend zeichnerisch-projektiv repräsentiert. 
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In Ebenen gestaffelt, waren sie am Rand und außerhalb des zugänglichen 
Trackingbereichs platziert. Die hierdurch entstandenen Bild-Raum-Forma- 
tionen wiesen Analogien zur Funktionalität von Rundpanoramen des 18. und 
19. Jahrhunderts und deren zur Verschleierung der Bildebene eingesetzten, 
vollplastisch ausgestalteten ‚Faux Terrains‘ auf. Mit Distanz und von außen 
betrachtet schienen die zwischen Modell und Zeichnung, Bildlichkeit und 
Objekthaftigkeit changierenden Anordnungen ohne Systematik und fast chao- 
tisch zu sein [Abb. 3.7]. Nur aus der Innensicht der Wohnung (im Trackingbe- 
reich der VR-Anlage) zeigten die Elemente verständliche Größen und logisch 
nachvollziehbare Positionen im Raum, mittels derer die virtuelle Verkürzung 
der tatsächlichen Distanzen zwischen den unterschiedlichen Welten themati- 
siert wurde. Die räumliche Verschneidung von (virtuellem) Entwurfsraum und 
Entwurfsort ermöglichte es, die spezifischen Potenziale des ‚Genius Loci‘ an 
Ort und Stelle sichtbar zu machen. 


KLYS 
NYGATA 
Dot SN 


Abb. 3.7 Ausschnitt eines VR-Entwurfsprojekts aus der Lehr- und Forschungsveranstaltung 
»Unbefugte Nutzung“, IMD, 2020. 


Kollektives VR-Zeichen 
Bei einer Reihe weiterer VR-Projekte standen die dynamischen Interaktionen 
zwischen mehreren Personen und die sie umschließende bauliche Realität im 
Fokus der Entwurfsarbeit. Abbildung 3.8 zeigt das Standbild einer kollektiv 
durchgeführten Aktion, bei der fünf Personen sich und den sie umgebenden 


PERFORMATIVES ENTWERFEN IN VIRTUAL REALITY 45 


Abb. 3.8 VR-Brillenbild aus einem Projekt der Lehr- und Forschungsveranstaltung 
„Kollektives VR-Zeichen“, IMD, 2019. 


Raum virtuell nachzeichneten. Im Zuge dieses, mehrere Stunden andauernden 
Prozesses entwickelten sich skizzenhaft wirkende Raumzeichnungen, in 
denen sich die Grenzen zwischen den Raumelementen und den Körpern 
der Beteiligten aufzulésen scheinen. In einem weiteren Projekt wurde die 
echtzeitliche Dynamik einer körperlichen Raumaneignung untersucht. An 
Rundhölzern unterschiedlicher Länge befestigte Zusatz-Tracking-Einheiten 
fungierten hierbei als Stifte, um gleichzeitig mehrere Linien im VR-Raum 
zeichnen zu können. Mittels einer VR-Brille sieht sich ein Proband zunächst 
einem leeren schwarzen ‚Nichtraum‘ gegenüber. Vom HMD-Träger unbemerkt 
treten vier Personen in den Raum, die die beschriebenen VR-Stifte in Hän- 
den halten. Auf ein Signal hin beginnen die Zeichner:innen kollektiv und auf 
abgestimmte Weise choreografiert den Umraum des HMD -Trägers mit Linien 
zu durchmessen. Dabei markieren sie das sich ständig verändernde Verhält- 
nis zwischen statischen Elementen wie Wänden und Stützen und dem sich im 
Raum bewegenden Körper des VR-Brillenträgers. Mit Hilfe der sich zwischen 
Körper und Raum entwickelnden diagrammatischen Zeichnung erkennt der 
Proband, dass er mit seinen Bewegungen die Entwicklung der ihn immer 
enger umschließenden Raumzeichnung bestimmen kann. Zudem gewinnt er 
stetig Vertrauen in seine eigenen Bewegungen, da die Grenzen des Umraums 
für ihn im Verlauf der Aktion immer deutlicher sichtbar werden. Die ent- 
stehenden Zeichnungen entwickeln sich nicht nur in Abhängigkeit vom jewei- 
ligen Ort unterschiedlich, sondern sie unterscheiden sich auch pro Durchgang 
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am selben Ort, weil das aufgezeichnete Subjekt-Objekt-Verhältnis durch die 
individuellen Bewegungen der Proband:innen immer neu charakterisiert ist. 
Sichtbar werden hierdurch die sonst verborgenen Wechselbeziehungen, die 
sich zwischen körperlicher Aktion und Raum vollziehen [Abb. 3.9]. 


Abb. 3.9 Präsentation eines Projekts der Lehr- und Forschungsveranstaltung ,Kollektives 
VR-Zeichen“, IMD, 2019. 


Handlungsräume 
In einer weiteren Arbeit wurde erkundet, mit welchen architektonischen 
Mitteln sich Handlungsimpulse in einem VR-Environment auslösen lassen. 
Symbole und Zeichen finden nicht nur in klassischen Grundriss- und Schnitt- 
zeichnungen Verwendung, auch Architektur selbst kann als ein indexikali- 
sches Verweissystem verstanden werden. Türen, Fenster, Treppen und Wände 
sind weder neutrale Objekte im Raum, noch bezeichnen sie nur sich selbst. Sie 
verweisen vielmehr auf spezifische, mit ihnen verbundene Funktionen und 
Handlungen. „Man kann von der Anstiftung zum Handeln sprechen oder, in 
der Terminologie der Semiotik, von der Affordanz der Dinge.“?* In dem Projekt 
befand sich eine Probandin mithilfe einer VR-Brille zunächst in einem leeren, 
schwarzen Raum. Sodann erschien eine schmale weiße Linie, die sich mit gro- 
Ber Geschwindigkeit in ihre Richtung verlängerte, um schließlich seitlich an ihr 
vorbeizuziehen. Mit dieser reduzierten, aber dynamischen und eindringlichen 


24 _ Gleiter, „Zeichen und Wunder, Beiträge zur Architektur als Bedeutungsträgerin“, S. 24. 
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Geste startete die Kommunikation zwischen der Probandin und mehreren, 
außerhalb des VR-Raums befindlichen Personen. Eine von ihnen trug ‚von 
außen‘ nach und nach weitere weiße Linien in den virtuellen Raum ein, die 
mehr oder weniger offensichtliche Bedeutungen transportierten und damit 
Aktivitäten der HMD-Trägerin auslösten. Die Stiftspuren erzeugten unter- 
schiedliche Arten von Hinweisen: Neben textlichen Handlungsaufforderungen 
wurden auch Symbole wie Richtungspfeile (die eine Bewegung der Probandin 
initiieren) oder Kreuze (die ihre körperliche Positionierung markieren soll- 
ten) im VR-Raum gezeichnet. Die entscheidenden Eintragungen entstanden 
jedoch durch echtzeitliches Nachspuren architektonischer Elemente, die von 
den beteiligten Personen für die nach außen blinde Probandin unbemerkt 
im Raum platziert wurden. Die Requisiten wurden mit einem als ‚Zeichen- 
stift‘ dienenden Handtracker entlang ihrer Konturen nachgespurt und so der 
virtuell sich aufbauenden Szene hinzugefügt. Wie die textlichen und symbo- 
lischen Einträge lösten auch die abstrakt und skizzenhaft gehaltenen archi- 
tektonischen Objekte Reaktionen der Probandin aus: Ein sich entwickelnder, 
nur rudimentär erkennbarer Stuhl beispielsweise wurde nach Abschluss der 
Zeichenarbeit als Einladung zum Sitzen verstanden. Eine Rampe oder Stufen 
eines Podestes wurden fast immer als Aufforderung aufgefasst, sie zu betreten. 
Eine in den Raum gestellte Tür, von der nur die Ränder und die Klinke nach- 
gezeichnet waren, lud stets zum Öffnen und Durchschreiten ein [Abb. 3.10]. 
Schließlich wurde auch die bis dahin nicht sichtbare, leibliche Existenz der 
HMD-Trägerin zu einem distinkten Element des Handlungsraums, indem die 
außenstehende Zeichnerin ihre Körperumrisse nachspurte. Während dieses 
Vorgangs verharrten die meisten Proband:innen wie versteinert in der sich auf- 
bauenden, ihren Körper repräsentierenden Linienhiille. Es schien, als sollte die 
Äquivalenz zwischen leiblicher Empfindung und virtueller Erscheinung mög- 
lichst lange unangetastet bleiben. Am Ende der zehnbis fünfzehn Minuten dau- 
ernden Aktion begann die außenstehende Person, auch ihren eigenen Körper 
im virtuellen Handlungsraum für die HMD-Trägerin sichtbar zu machen. Das 
Nachzeichnen eines ausgestreckten Arms wurde als Aufforderung verstanden 
sich die Hände zu reichen, wodurch Probandin und Zeichnerin erstmals real- 
physisch körperlichen Kontakt zueinander aufnahmen. So wurde Erstere aus 
ihrem virtuellen ‚Körperbild‘ herausgeleitet und auf ein sichtbar werdendes 
Podest am Rand der Szene geführt. Im Rückblick konnten die zeichnerisch 
eingefrorenen Ergebnisse des gesamten Geschehens als Handlungsraum über- 
schaut werden [Abb. 3.1a-b]. Der räumliche und zeitliche Rückblick auf das 
zuvor in Echtzeit und ‚von innen‘ Erlebte barg eine große suggestive Kraft. 
Obwohl der Verlauf des Experiments zunächst wie ein eindrücklicher 
Beweis für den engen indexikalischen Zusammenhang von Architektur- 
elementen und Bedeutungen erscheint, wird diese Interdependenz im selben 
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Abb. 310 Öffentliche Präsentation des VR-Projekts „Handlungsraum“ im Eingangsbereich 
des Architekturmuseums der TU Berlin, 2020. 


Abb. 3.1a-b VR-Brillenbilder aus dem Projekt „Handlungsraum“, IMD, 2020. 


Moment auch in Frage gestellt. Vor jeder zeichnerisch herbeigeführten Hand- 
lung zeigt sich bei den Proband:innen eine gewisse Verunsicherung, ein Zwei- 
fel, ob die funktionale Interpretation der skizzenhaft sichtbar werdenden Ele- 
mente stimmig ist. Verbirgt sich hinter dem mit diinnem, unsicherem Strich 
entstehenden Objekt wirklich eine belastbare materielle Wirklichkeit? Kann 
sich die Probandin auf die historisch und kulturell feststehende Denotation 
verlassen? Raum wird, das machen diese Versuche deutlich, primar kérperlich 
erfahren. Mit dem Experiment scheint die Kritik an einer Architektursemiotik 
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im Sinne Umberto Ecos,? die die Aspekte von Taktilität und Körperlichkeit 
vernachlässigt habe, geradezu beispielhaft bestätigt zu werden. Obwohl (oder 
gerade weil) die körperlich-materielle Komponente der Architektur, ebenso 
wie die Körper der Beteiligten, auf eine virtuell-zeichnerische Erscheinung 
reduziert werden, sensibilisiert das Experiment für die leibliche Komponente 
der Raumerfahrung. Kirsten Wagner verweist darauf, dass es „Akte der Ver- 
körperung“?6 waren, die den Totalitätsanspruch der Semiotik letztlich ent- 
kräftet haben. Die physische Präsenz von Architektur sorgt dafür, dass sie 
nicht restlos in Bedeutung aufgeht.?7 Die Indexikalität der Architektur umfasst 
weit mehr als den Funktionszusammenhang zwischen Bauteilen wie Treppe 
(= Höhenüberwindung), Fenster (= Ausblick) oder Geländer (= Schutz vor 
Absturz). Architektur als körperlich erfahrbares Moment im Raum hat immer 
auch eine leibliche Komponente: 


Aktiver Tastsinn und passiver Hautsinn, Berühren und Berührtwerden gehören 
zur haptischen Dimension von Architektur, die ein materielles Artefakt ist und 
im Gebrauch erfahren wird. [...] Der Leib ist ebenso wenig vom Gebauten und 
seiner Bedeutung zu trennen wie das indexikalische Zeichen des Schattens von 
dem Körper, der ihn wirft.?8 


Die im VR-Experiment aufscheinenden Wechselbeziehungen zwischen Zeich- 
nen, Architektur und Körperlichkeit bezeugen die Vielschichtigkeit archi- 
tektonischer Wirkungsmöglichkeiten, insbesondere im Zusammenhang ihrer 
Erweiterung ins Virtuelle. Es sind gerade die „Störung[en] der Handlungsvoll- 
züge“, wie sie in der letztgenannten Arbeit thematisiert wurden, die die Archi- 
tektur „für den Leib, der sich in ihr bewegt, in und mit ihr hantiert“, 6ffnen.?9 
Selbst wenn die Repräsentation von räumlichen Elementen auf einfache, 
symbolische Zeichen reduziert wird, drängt sich bei der Raumaneignung die 
Kraft der körperlichen Gegenwart in den Vordergrund. Die leibliche Kompo- 
nente erhält überraschenderweise gerade in (teil)virtuellen Umgebungen 
eine besondere Relevanz - das gilt insbesondere für abstrakt und reduziert 
gestaltete virtuelle Welten. Der planerisch allwissende und bestimmende Blick 
‚von außen‘ auf einen homogenen Raum wird ersetzt durch eine subjektive, 
medial bestimmte räumliche Beteiligung, die eine reflektierte, performative 


25 Vgl. z.B. Eco, Einführung in die Semiotik, S. 293-356. 

26 Wagner, „Architektur als Körper und Zeichen ... Schrift als Zeichen und Körper“, S. 52. 
27 Ebd. 

28  Ebd.S.48. 

29 Ebd, S. 52. 
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Aufmerksamkeit beinhaltet. Entwerfen bedeutet in diesem Sinn weniger ein 
‚Neuerfinden‘ als vielmehr ein Infragestellen bestehender architektonischer 
und städtischer Konstellationen — ein Zusammenführen, Entwickeln, Tunen 
der medial-virtuell zugänglichen Lebenswelt. 
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Cloud Modelling 


Gespräch mit Carsten Jantzen 


Gespräch zwischen Carsten Jantzen, bis 2021 Volke Entwicklungsring SE Wolfs- 
burg / seit 2022 ITE, Digitale Baufabrikation, TU Braunschweig und Philipp Rein- 
feld, geführt per Videomeeting zwischen Berlin und Braunschweig am 15.11.2021. 


Das VR-Design-Programm Cloud Modelling (CM) ist eine von der Volke Ent- 
wicklungsring SE entwickelte virtuelle Umgebung, die in unterschiedlichen 
Phasen von Designprozessen in der Fahrzeugindustrie Anwendung finden kann. 
Bis zu zehn Nutzer:innen können hier gleichzeitig und standortunabhängig in 
Echtzeit dreidimensionale CAD-Modelldaten erstellen und verändern. Beim 
Tragen von Virtual-Reality-Brillen kann mit Hilfe zweier Hand-Controller im 
virtuellen Raum entweder frei gezeichnet oder können mittels Präzisions- 
werkzeugen Oberflächen und Kurven hergestellt beziehungsweise geändert 
werden. 


Reinfeld: Carsten, du hast 2009 dein Architekturstudium an der Bergischen 
Universität Wuppertal mit einer Arbeit zu parametrischen Formfindungs- 
prozessen abgeschlossen, einem damals auch im akademischen Umfeld noch 
recht neuen Feld architektonischer Entwurfsmethodik. Wie kam es dazu, dass 
du einige Jahre später eine Tätigkeit in der Fahrzeugindustrie aufgenommen 
hast? 


Jantzen: Bevor ich im Sommer 2015 bei Volke angefangen habe, war ich eine 
Zeit lang Wissenschaftlicher Mitarbeiter an der Bergischen Universität 
Wuppertal bei Ulrich Königs (Lehrstuhl Konstruieren und Entwerfen). Als 201 
Holger Hoffmann den Lehrstuhl Darstellungsmethodik und Entwerfen über- 
nahm und damit das Thema digitales Entwerfen an die Fakultät mitbrachte, 
war das ein für meine Interessen sehr fruchtbares Umfeld. Karl Schwalben- 
hofer, der damals den Lehrstuhl Tragwerkslehre und Baukonstruktion vertrat, 
brachte mich schließlich zu einer intensiveren Auseinandersetzung mit den 
mathematischen Hintergründen parametrischer Formfindung. Zu verstehen, 
wie eng Entwerfen und Mathematik im Programmieren zusammenhängen, 
kam für mich in gewisser Weise einer Offenbarung gleich. Wenn man einen 
neuen Algorithmus zur Verfügung hat oder sogar selbst entwickelt, dann 
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öffnen sich kreative Universen, aus denen man immer neue Ideen schöpfen 
kann. Weil derartige Fähigkeiten und Interessen außerhalb des akademisch- 
wissenschaftlichen Kontextes in der praktischen Architekturproduktion in den 
Büros damals noch weniger gefragt waren, habe ich mit diesen speziellen 
Kenntnissen in der mir bis dahin völlig fremden Automobilbranche, kon- 
kret bei der Auto-Zulieferfirma Volke in Wolfsburg eine Beschäftigung auf- 
genommen. Sie suchten seinerzeit jemanden, der sich mit Geometrie auskennt 
und mit dem 3D-Programm Rhinoceros sowie der darin implementierten visu- 
ellen Programmierumgebung Grashopper umgehen kann, um komplexe Ober- 
flächenstrukturen und Muster herzustellen. 


Reinfeld: Das VR-Programm Cloud Modelling bzw. die Frage nach dem Ent- 
werfen und Arbeiten in VR war demnach zunächst noch nicht Teil deiner 
Arbeit dort. Kam die Idee bzw. Initiative einer Hinwendung zu VR und zur 
Entwicklung dieses Programms von dir? 


Jantzen: Nein, die initiale Idee dazu kam eindeutig von Daniel Volke, dem 
Abteilungsleiter. Die Firma hatte eine Microsoft HoloLens — damals noch 
vom US-Markt importiert —, um zu sehen, ob diese Technik irgendwie für 
die Arbeit der Firma erschlossen werden könnte. Für diese HoloLens habe 
ich eine kleine App geschrieben um diese, damals technisch noch eher auf 
dem Stand eines Mockups befindliche, Brille für uns nutzbar zu machen. Ich 
saß also als Architekt mit einer brandneuen HoloLens in Wolfsburg in einem 
Automobil-Zulieferbetrieb und habe programmiert — eine durchaus seltsame, 
aber gleichzeitig extrem spannende Situation. Aufgrund der bildlichen Defizite 
der Technik wurde schnell klar, dass ein professionelles Arbeiten mit dieser 
AR-Brille eher unbefriedigend bleiben würde. Wir erhielten dann 2016 die ers- 
ten HTC Vive VR-Brillen und haben unsere Versuche in dieser viel leistungs- 
stärkeren Umgebung vertieft. Schon bald konnten wir frei bewegbare Flächen 
erzeugen und im virtuellen 3D-Raum ganz intuitiv mit einem Controller in der 
Hand an den Kontrollpunkten einer Fläche angreifen, um diese präzise zu ver- 
schieben. Da wurde allen Projektbeteiligten das Potenzial dieser Entwicklung 
schlagartig bewusst. 


Reinfeld: War von Beginn an klar, dass ihr in der Virtuellen Realität aktiv Dinge 
verändern und modellieren können wollt? Es hätte doch mit beträchtlich 
weniger Aufwand zunächst auch nahegelegen, digital entworfene Objekte in 
VR nur zu visualisieren, um sie eins zu eins sichtbar zu machen. 
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Jantzen: Daniel Volke hatte vom ersten Moment an den Wunsch, Dinge in 
VR nicht nur ansehen, sondern auch verändern zu können. Das liegt wahr- 
scheinlich an der innovativen Ausrichtung des Betriebs auf die Entwicklung 
neuer technischer Lösungen. Die Frage nach Veränderung und Verbesserung 
steht immer im Raum. Was diese Idee einer notwendigerweise äußerst prä- 
zisen virtuellen Modellierungsumgebung dann im Einzelnen an Arbeit und 
Herausforderung bedeuten würde, das haben wir zu Beginn, man muss rück- 
blickend sagen zum Glück, noch nicht überrissen. Wir haben einfach eupho- 
risch losgelegt. 


Reinfeld: Um die hierbei im Zentrum stehenden, spezifischen Anforderungen 
verstehen zu können, wäre es hilfreich, grundsätzlich etwas über die Arbeits- 
werkzeuge und den Gestaltungsprozess im Automobildesign zu erfahren. 
Kannst du kurz erläutern was so anders und ungewohnt war gegenüber den 
Arbeitsmethoden, die du aus der Architekturpraxis kanntest? 


Jantzen: Architekturbüros sind im Vergleich zu Industriebetrieben, wie sie im 
Kontext der Fahrzeugproduktion zu finden sind, meistens um ein Vielfaches 
kleinere Einheiten. Weil wichtige Entscheidungen nicht in großen, hierarchisch 
organisierten Teams getroffen werden, sondern von einzelnen Personen, lastet 
auf den Beteiligten eines Architekturbüros eine große Verantwortung. Gegen- 
über der Planung und Ausführung eines Gebäudes ist der Herstellungsprozess 
eines Automobils zudem unglaublich ausdifferenziert. 


Reinfeld: Es gibt also viele kleine Inselbereiche mit hochinnovativen Abtei- 
lungen, aber der Austausch zwischen ihnen, der aufgrund des gemeinsamen 
Ziels der Herstellung eines Fahrzeugs notwendig ist, ist eher sperrig und über- 
raschend schwergängig? 


Jantzen: Ja, an den Schnittstellen geht viel verloren. Das bedeutet heute 
auch, dass sehr viele unterschiedlich hergestellte CAD-Daten zwischen ver- 
schiedenen spezialisierten Abteilungen ausgetauscht werden müssen, was sel- 
ten konflikt- und verlustfrei erfolgt. Diese digitale Schnittstellenproblematik ist 
aus Programmiersicht eigentlich erstaunlich. Denn CAD-Programme sind im 
Grunde sehr einfach aufgebaut — ein paar Zahlen, ein paar Vektoren und noch 
ein paar Metadaten, das ist es im Groben. Gleichzeitig benutzen die meisten 
Anwender:innen die Programme, indem sie auf Knöpfe drücken und Befehle 
ausführen, ohne auch nur ansatzweise zu wissen, was dabei algorithmisch im 
Hintergrund passiert. Die Programmierung der User-Schnittstellen wiederum 
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ist technisch aufwendig und komplizierter als der so ausgelöste, eigentliche 
Befehl. Zudem sind Softwareanwender:innen oft überraschend konservativ — 
die Bereitschaft, etablierte Programmumgebungen und erlernte Routinen zu 
verlassen, ist eher gering. Das ist vergleichbar mit dem früheren Unwillen, vom 
analogen Zeichnen und Entwerfen mit Bleistift und Papier in den digitalen 
Entwurfs- und Arbeitsraum von CAD zu wechseln. Heute wollen viele Leute 
bei der ihnen vertrauten Software bleiben. In einem kleinen Architekturbüro 
reicht manchmal schon der Impuls einer einzelnen Mitarbeiterin, um neue 
Softwareumgebungen auszuprobieren. Demgegenüber ist es in einem Unter- 
nehmen mit Tausenden Mitarbeiterinnen und zahlreichen Abteilungen viel 
schwieriger, die etablierten Arbeitsmittel infrage zu stellen. 


Reinfeld: Eine solche althergebrachte Software im Automobildesign ist z.B. 
ICEM Surf der Firma Catia, die in den 1980er Jahren entwickelt wurde. Mit die- 
sem Programm lassen sich sogenannte „Class A Surfaces“, wegen ihrer Lichtre- 
flexion besonders ästhetisch anmutende B£zierflächen, gestalten. Wenngleich 
sowohl auf Hardware-, als auch Softwareseite seither weitreichende Ent- 
wicklungen stattgefunden haben, werden solche für die Innen- und Außen- 
flächen von Automobilen wichtigen Gestaltungsbereiche noch heute mit 
dieser, nicht gerade intuitiv zu bedienenden, Software bearbeitet. Kannst du 
erläutern, warum diese Software und die mit ihr verbundene Arbeitsweise 
gewissermaßen als Antipode zur Idee von Cloud Modelling gesehen werden 
kann? 


Jantzen: Um das zu erklären, muss ich ein wenig ausholen. Bezierflä- 
chen haben Kontrollpunkte. Wenn ich einen Kontrollpunkt bewege, dann 
ändert sich die Geometrie der gesamten Fläche. Anders verhält es sich mit 
sogenannten B-Splines, die aus zusammengesetzten Bézier-Kurvenstiicken 
bestehen. Das hat den Vorteil, dass die Änderung an einem Kontrollpunkt 
keine Änderung an anderen Teilen der Kurve zur Folge hat. B-Splines sind 
allerdings geometrisch und programmiertechnisch komplizierter als Bezier- 
flächen, weil die Anschlussstellen der Kurvenstücke aufwendig zu berechnen 
sind. Für heutige Computer ist das kein Problem, und dennoch hat sich mit 
dem Programm ICEM Surf eine eigentlich anachronistische Arbeitsweise mit 
Bezierflächen erhalten. Sogenannte Straker (ein Begriff, der auf die Technik 
der Flächenherstellung von Schiffsrümpfen zurückgeht) bewerten noch heute 
anhand der abstrakten Darstellung eines Bezier-Kontrollpunktgitters, ob eine 
Fläche gut aussehen wird. Eine regelrechte Kunst, für die viel Wissen und 
Erfahrung notwendig ist. Das ist einerseits faszinierend, andererseits scheint 
diese Arbeitsweise heute, da ganze Autos problemlos in Echtzeit gerendert 
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dargestellt werden können, wie aus der Zeit gefallen. Wenn man an Stelle der 
schwierig zu handhabenden Bézierflächen mit B-Spline bzw. NURBS-Flächen 
arbeitet, was wegen der einfacheren Geometrie-Kontrolle viel nutzer:innen- 
freundlicher und intuitiver ist, dann muss man in der Lage sein, die Qualität 
der entstehenden Flächen visuell sehr genau zu bewerten, weil die Ubergänge 
zwischen den einzelnen Kurvenabschnitten unsauber werden können. Genau 
das ist nun in einer VR-Umgebung wie Cloud Modelling besonders gut mög- 
lich. Wir können hier mathematisch komplexe Nurbs-Flächen in Echtzeit drei- 
dimensional betrachten und intuitiv verändern. Das wäre an einem flachen 
Bildschirm derart nicht umsetzbar. 


Reinfeld: Welche Vorteile bringt Cloud Modelling im Kontext der Fahrzeug- 
produktion zusätzlich? Du hast die ausgeprägte und sehr ausdifferenzierte 
Arbeitsteilung genannt. 


Jantzen: Wie ich eingangs erwähnt habe, bestand neben der Absicht, die Dinge 
in VR direkt zu bearbeiten, von Beginn an der zweite, fast ebenso wichtige 
Wunsch, gemeinschaftlich in VR arbeiten und diskutieren zu können. Hier- 
durch haben wir in gewisser Weise gleich mit zwei Traditionen des Automobil- 
designs gebrochen: Es ist in CM nicht nur möglich, komplexe Flächen intuitiv 
und einfach zu erstellen und zu bearbeiten; sondern es können sich mehrere 
Beteiligte über die Qualität der Ergebnisse unmittelbar austauschen oder 
selbst eingreifen und Änderungen vornehmen. Die Motor- oder Getriebeent- 
wickler:innen sind in der Lage in VR direkt zu erkennen, ob ihre Planungen 
in den Motorraum eines Fahrzeugentwurfs hineinpassen, und die Gestal- 
ter:innen können unmittelbar sehen und mit den beteiligten Fachingenieuren 
besprechen, welche Auswirkungen es für das Design hätte, wenn ein Batterie- 
Pack mehr oder weniger eingebaut würde. Solche Fragen, auch über Abteilungs- 
grenzen hinweg, sind plötzlich offen und dynamisch verhandelbar und nicht 
mehr in den Kommunikationsumgebungen der einzelnen Abteilungen ein- 
geschlossen. Das ist wie bei einem Flurgespräch unter Kolleg:innen, das oft- 
mals produktiver ist als eine Teamsitzung. Entscheidungen, die normalerweise 
Tage oder Wochen dauern, fallen plötzlich in Minuten, weil alle alles gleich- 
zeitig sehen, bewerten und im Prinzip auch ändern können: „Diese Stelle muss 
anders!“ — Punkt etwas runter - „So?“ - „Ja genau!“ 


Reinfeld: Deinen Berichten zufolge war besonders die Zusammenarbeit zwi- 
schen Designer:in und dem sogenannten Clay Modeller, der normalerweise 
die Eins-zu-eins-Modelle von Fahrzeugentwürfen herstellt, in der virtuellen 
Arbeitsumgebung von Cloud Modelling sehr produktiv. 
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Jantzen: Der Modellbauer ist es gewohnt, in körperlicher Dynamik an Eins- 
zu-eins-Objekten im Raum zu arbeiten. Das ist eine sehr haptische und hand- 
werkliche Arbeit im wahrsten Sinne des Wortes. 


Reinfeld: Man könnte denken, dass VR doch das komplette Gegenteil davon 
ist, also keine Haptik, keine physischen Dinge. 


Jantzen: Bis auf das Haptische ist es genau das Gleiche. Wie mit einer Dach- 
latte, die man im Baumarkt kauft, und die der Länge nach vors Auge gehalten 
wird um bewerten zu können, ob sie gerade ist. Dabei geht es nicht um die Hap- 
tik des Holzes, sondern um die körperlich-intuitive Geste, eine Entscheidung 
mittels visueller Kontrolle zu treffen. Genau das ist in VR möglich. Man kann 
die Qualität von Oberflächen, von Bögen und Kurven im Ansehen bewerten. 
Und das macht ein Modellbauer in Cloud Modelling besonders gekonnt und 
intuitiv. 


Reinfeld: Das ist ein Beispiel fär besonders gutes Gelingen der Designarbeit 
in VR. Aber es gab doch sicherlich auch Probleme und Uberforderung bei 
Anwender:innen, die erstmals in dieser Umgebung konstruieren und ent- 
werfen sollten. 


Jantzen: Ja, auf jeden Fall. Wir erleben auch viel Skepsis gegenüber dem Arbei- 
ten in dieser virtuellen Designumgebung. Wir sehen uns mit Missverständnis- 
sen konfrontiert, die aus den Routinen des Arbeitens am Monitor herrühren, 
z.B. mit der häufig gestellten Frage, mit welchem Werkzeug das Objekt rotiert 
werden kann. Wenn ich dann antworte, „Sie müssen das Objekt nicht drehen, 
Sie können einfach darum herumlaufen‘“, führt das manchmal zu unwilligem 
Staunen. Oder die für mich anfangs irritierende Frage nach der Maßstäblichkeit 
in einer offensichtlich eins zu eins angelegten Designumgebung. Oder die fra- 
gende Feststellung, dass alle Linien schief sind, weil spontan nicht verstanden 
wird, dass es sich um einen dynamisch-perspektivischen Raum handelt und 
nicht um orthogonale oder parallele Bildschirmprojektionen des 3D-Modells. 


Reinfeld: Da zeigt sich die tiefe Verwurzelung dieser berufsbedingt erlernten 
Abstraktionsmethoden des zweidimensionalen Umgangs mit dreidimensio- 
nalen Sachverhalten, die eben auch Einschränkungen im Denken und Tun 
nach sich ziehen. 


Jantzen: Ich bewundere deine akademische Präzision und Ausdauer, mit 
der du diese Themen verfolgst, aber für mich war das damals einfach sehr 
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hinderlich und anstrengend. Ich hatte jemanden wie dich gebraucht, um über 
diese Beobachtungen und Probleme sprechen zu können und um zu ver- 
stehen, warum einige Leute teilweise schwer damit zurechtkommen. Gleich- 
zeitig sind das natürlich Umstände und Aspekte, auf die in der weiteren 
Entwicklung eines solchen Programms eingegangen werden muss. Wir haben 
dann z.B. die Möglichkeit eingeführt, unterschiedliche Maßstäbe anzeigen zu 
können. 


Reinfeld: Aber ist das nicht verrückt? Du redest ja nicht über Personen, die vor- 
her nie etwas mit CAD zu tun hatten. Es geht hier nicht um die Neuerfindung 
des 3D-Raums im Digitalen. Dieser ist alles andere als fremd, er ist seit min- 
desten zwanzig Jahren Arbeits- und Entwurfsraum von Architekt:innen und 
Designer:innen. Aber das Novum, ihn körperlich betreten zu können und nicht 
mit Maus, Tastatur und Monitor an Bildern zu arbeiten, ist offenbar eine wirk- 
lich kategoriale Änderung, auch wenn es so naheliegend und einfach klingt. 


Jantzen: Der CAD-Raum mit seinen verschiedenen Programmen bedingt 
eine gewisse Arbeits-Choreographie. Die Softwareentwickler geben mit der 
Programmarchitektur und den zur Verfügung gestellten Arbeitswerkzeugen zu 
einem beträchtlichen Teil vor, wie entworfen wird - das wird häufignoch immer 
zu wenig reflektiert. Speziell bei CAD kommt, wie du schon sagst, hinzu, dass 
der Monitor als flache Vermittlungsebene des 3D-Raums die eigentliche Räum- 
lichkeit der Arbeitsumgebung fast vollständig unterdrückt, obwohl mathema- 
tisch gesehen der VR- und der klassische CAD-Arbeitsraum das gleiche sind. 
Aber diese Bildschirmlogik hat unter anderem zu der fast immer vorhandenen 
Festlegung geführt, dass Dinge in CAD nur rechtwinklig zur Sichtachse oder 
der sogenannten Konstruktionsebene bewegt werden können. 


Reinfeld: Diese Gewohnheit geht natürlich auch auf die vordigitale Zeit 
zurück, in der auf Papier gearbeitet wurde, und in der der zugehörige Raum 
nur im Kopf der Entwerfer:innen vorhanden war. Wobei ich sagen muss, dass 
die Vorstellungskraft des 3D-Raums durch das Arbeiten mit VR bei mir einen 
unglaublichen Schub erhalten hat. Die Grenzen des Raum-Imaginierens, die 
ich bis dahin noch manchmal als ein Defizit erfahren habe, sind durch das 
Arbeiten im virtuellen 3D-Raum, wo ich Dinge intuitiv anfassen, bewegen und 
verändern kann, fast völlig aufgelöst. 


Jantzen: Ich habe auch mit klassischer CAD schon immer in der Perspektiv- 
ansicht gearbeitet. Viele machen das ja eher in den orthogonalen Projektions- 
ansichten. Wie eingangs erläutert, war das früher mangels Grafikleistung der 
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Computer nicht möglich, weil es mathematisch aufwendig ist, eine dynamische 
Perspektivansicht zu berechnen. Aber deshalb befreit die heutige Rechner- 
kapazität und vor allem die Verwendung von 3D-Entwurfsumgebungen in VR 
von dieser einschränkenden Notwendigkeit, sich 2D-Artefakte in 3D vorstellen 
zu müssen. Das ist insbesondere auch in Bezug auf die Kommunikation mit 
Nicht-Fachleuten ein großer Vorteil. 


Reinfeld: Wenn ich mit Studierenden Entwurfsaufgaben mit VR umsetze, 
dann gilt fast immer die Vorgabe, dass ausschließlich innerhalb des digita- 
len 3D-Raums der VR gezeichnet und modelliert werden darf und nicht mit 
Abstand vor einem Monitor. Am Ende lasse ich dann aber die erstellten Arbei- 
ten bewusst wieder in klassische architektonische Darstellungsformen über- 
führen, also in Ansichten, Grundrisse und Schnitte. Wenn Personen, die nicht 
an der Projektarbeit beteiligt waren oder sich gar weigern, eine VR-Brille über- 
haupt aufzusetzen (weil sie meinen, die Projekte auch in der 2D-Ubertragung 
eines Kontrollmonitors verstehen zu können), die Ergebnisse des Entwurfs 
dann z.B. in einer Grundriss-Projektion sehen, verstehen sie erst, wie anders 
und ungewohnt der in VR entworfene Raum auch strukturell geworden ist. In 
den klassischen Darstellungsformen wird der Effekt der geänderten Entwurfs- 
methode auf die Ergebnisse des Entwerfens besonders sichtbar. 


Jantzen: Ich verstehe absolut was du meinst. Das Arbeiten im 3D-Raum gibt 
auch unheimlich Kapazitäten im Kopf frei, weil ich keine Gedanken verschwen- 
den muss auf die Transferleistung ins Räumliche, weil ich alles dreidimen- 
sional vor mir sehe. So kann ich mich vollkommen auf die Gestaltungsfragen 
konzentrieren und schneller den nächsten Schritt tun oder etwas Neues aus- 
probieren. Das hat sich übrigens auch beim Konzipieren und Umsetzen der 
Arbeitstools von Cloud Modelling gezeigt. Viele logisch erdachte Werkzeuge 
stellten sich bei der Anwendung in VR als ungeeignet heraus. Wir haben dann 
viel mehr und direkter alles in VR ausprobiert und durchgespielt, um dort die 
Entscheidungen zu treffen, meistens zugunsten viel einfacherer Lösungen, als 
wir sie aus den klassischen CAD-Anwendungen kennen. 


Reinfeld: Häufig wird in Zusammenhang mit VR-Gestaltung von ‚Erfahrungen‘ 
gesprochen. Cloud Modelling ist aber ja vorrangig entwickelt worden, um 
darin Artefakte zu designen und zu konstruieren, die später physische Reali- 
tät werden. Doch auch hier ist die (Entwurfs-)Realitat selbst bereits eine 
Form von immersiver Erfahrung, die in ihren körperlichen und mentalen 
Auswirkungen die Intensität des Arbeitens vor einem Bildschirm weit über- 
trifft. Gleichzeitig wird unsere Realität in unterschiedlichsten Bereichen 
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zunehmend um virtuelle Anteile erweitert. Sei es in virtuellen Spielewelten 
oder bei virtuellen Zusammenkiinften, die längst nicht mehr nur via Moni- 
tor erfolgen, sondern auch in VR-Meetingräumen stattfinden. Liegt in solchen 
virtuellen Umgebungen nicht das eigentliche, genuine Anwendungsfeld von 
VR-Entwurfsumgebungen, weil hier keine Widerständigkeit gegenüber fort- 
laufender entwurflicher Veränderung mehr besteht? Es entfällt die dem Ent- 
wurfsprozess eigentlich widerstrebende Notwendigkeit, einen finalen Zustand 
zu erreichen, den die physische Materialisierung erzwingt. 


Jantzen: Man muss heute tatsächlich keine Science-Fiction-Romane mehr 
lesen um solche Ansätze zu sehen. Mindestens im Stadium von Mockups exis- 
tieren genügend Beispiele, in denen diese virtuellen Erweiterungen des Lebens- 
raums bereits erprobt werden. Auch wenn dabei viele technische Fragen noch 
nicht gelöst sind, bin ich überzeugt, dass die Art unseres Zusammenarbeitens 
sich vollkommen ändern wird. Tendenziell wird hierbei die AR-Technik die 
Oberhand gewinnen, sobald sie von der Leistung und der Bildqualität her ein 
anderes Niveau erreicht hat. Es wird sich dann eine starke Überlagerung von 
virtueller und realer Welt einstellen. Allerdings ist es schwer, sich diese Art des 
Kommunizierens und Arbeitens vorab vorzustellen. Wie bei den Smartphones, 
deren ganzes Potenzial sich erst durch ihre massenhafte Anwendung wirklich 
zeigte, werden wir erst dann sehen was folgt, sobald wir unsere Handys zur 
Seite gelegt haben - weil wir sie nicht mehr benötigen, wenn wir mittels AR 
und VR viel intuitiver und raumgebundener kommunizieren können. 


Reinfeld: Ich denke, es wird nicht auf reine AR im Sinne einer Überlagerung 
bzw. Anreicherung der Realität mit virtuellen Informationen hinauslaufen, 
sondern es wird auch ‚Türen‘ geben in vollkommen virtuelle Bereiche, die den 
Zutritt in gänzlich andere, von der physischen Realität unabhängige Welten 
öffnen. 


Jantzen: Das meinte ich mit der bislang fehlenden technischen Qualität von 
AR-Brillen. Wenn diese zusätzlich vollkommen virtuelle Bildräume darstellen 
können, wie es gegenwärtig nur reine VR-Brillen bieten, dann wird es genau 
diese Überlagerung zwischen virtuellen und physischen Räumen geben, mit 
gleitenden Übergängen zwischen beiden Welten. 


Reinfeld: Siehst du in diesen Themen eine mögliche Aufgabe für dich als Ent- 
wickler? Also VR-Umgebungen nicht bloß im Entwurfsprozess künftiger Pro- 
dukte zu nutzen, wie es in Cloud Modelling gegeben ist, sondern auch Fragen 
der Produktion von Virtualität selbst zu adressieren? 
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Jantzen: Das hieße in gewisser Weise, Spiele- und Bauindustrie zusammenzu- 
bringen. Ich bin ziemlich sicher, dass so etwas kommen wird. Spannend daran 
wäre fär mich wiederum die Programmierfrage, also wie so ein Ansatz tech- 
nisch überhaupt umsetzbar wäre. 


Reinfeld: Spätestens seit Facebook-Gründer Marc Zuckerberg unter dem 
Stichwort Metaverse eine virtuell erweiterte Lebens- und Arbeitswelt in Aus- 
sicht stellt, sehe ich die Notwendigkeit, dass sich auch Architekt:innen Fra- 
gen der Konzeption und Gestaltung dieser virtuellen Lebensräume ernsthaft 
annehmen sollten. 


Jantzen: Microsoft, Meta, Google und Apple wollen den Massenmarkt 
erreichen und deshalb kommen ziemlich unspezifische Umwelten, wie es 
früher Second Life einmal war, heraus, wenn hier virtuelle Welten aufgesetzt 
werden. Je spezialisierter die Anwendungsfelder aber werden, desto größer 
werden die Anforderungen an virtuelle Umgebungen. Gleichzeitig wird der 
Markt dafür radikal kleiner, was ein Entwicklungshemmnis darstellt. Das 
führt zu technisch hochkomplexen virtuellen Umgebungen, die am Ende nur 
wenige Leute benutzen können bzw. wollen. Das ist auch der Grund weshalb 
ich der Meinung bin, dass die einzelnen Disziplinen selbst aufgefordert sind, 
in die Entwicklung jeweils passender virtueller Arbeitsumgebungen einzu- 
treten. Da gibt es in vielen Branchen einen großen Nachholbedarf. Denn diese 
global agierenden Digitalfirmen werden mit aller Wahrscheinlichkeit am Ende 
vor allem virtuelle Marktplätze für ihre Produkte und Anwendungen hervor- 
bringen, auf denen sie zusätzlich einen stärker individualisierten Werbemarkt 
erschließen können. Das macht mir auch ein mulmiges Gefühl, weil eben klar 
ist, wie hier die Interessen gelagert sind. 


Reinfeld: Ein Plädoyer dafür, die Frage nach der Ausrichtung virtueller Welten 
nicht allein den Global Playern wie Apple oder Meta zu überlassen, sondern 
sich selbst im Kleinen aktiv an der Ausgestaltung und Spezifizierung dieser 
Umgebungen zu beteiligen? 


Jantzen: Ja, und aus diesem Grund muss die Entwurfskompetenz von Archi- 
tekt:innen in Zukunft darüber hinausgehen, ästhetische, bauliche und betrieb- 
liche Kenntnisse zu besitzen, sondern die Werkzeuge ihres Handelns, welche 
immer mehr digitale sein werden, auch auf einer tieferen Ebene zu verstehen, 
um so deren Evolution mitbestimmen zu können. Das ist ein Grundthema 
der Digitalisierung: nicht, dass jede:r programmieren können muss, aber das 
sich jede:r ein tiefgreifendes Verständnis für digitale Prozesse aneignet. Erst 
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mit einem gewissen Grundverständnis kann dann mit diesen Techniken und 
Methoden spielerisch umgegangen und so ihr Potenzial ausgeschöpft werden. 
Auch, um sich aus dem Korsett der Softwareindustrie zumindest ein Stiick 
weit zu befreien. 


Reinfeld: Das ist für mich vor allem ein Plädoyer, die nötigen Grundkenntnisse 
fiir eine derartige Expertise noch viel weitreichender in der Ausbildung von 
Architekt:innen zu verankern. Vielen Dank für die äußerst interessanten Ein- 
blicke und Anregungen. 


Immersive Participation Lab und Elbedome 


Gespräch mit Matthias Aust, Steffen Masik 


Gespräch zwischen Matthias Aust, Immersive Participation Lab, Fraunhofer- 
Institut für Arbeitswirtschaft und Organisation IAO in Stuttgart; Steffen Masik, 
Elbedome, Virtual Development and Training Centre des Fraunhofer-Instituts 
fir Fabrikbetrieb und -automatisierung IFF in Magdeburg, sowie Philipp Rein- 
feld, geführt per Videomeeting zwischen Stuttgart, Magdeburg und Berlin am 
09.12.2021. 


Der Elbedome in Magdeburg und das IPLab in Stuttgart sind zwei Mixed- 
Reality-Projektionssysteme zur großflächigen Darstellung interaktiver Visu- 
alisierungen, die als professionelle virtuelle Arbeitsumgebungen fungieren. 
Wie in klassischen CAVES (Cave Automatic Virtual Environment) handelt es 
sich um Innenräume, auf deren Wände mittels stereoskopischer Bewegtbilder 
eine dreidimensionale virtuelle Realität projiziert wird, die in Echtzeit auf die 
Bewegungen ihrer Nutzer:innen reagiert. 


Reinfeld: Herr Aust, Herr Masik, könnten Sie eingangs kurz etwas zu Ihrem 
jeweiligen beruflichen Hintergrund sagen? Welche Ausbildung haben Sie 
genossen und wie waren die Anfänge Ihrer Beschäftigung mit VR-Technologie 
bzw. Ihrer aktuellen Aufgabe im jeweiligen Fraunhofer Institut? 


Aust: Ich bin über mein Studium der Computervisualistik an der Universität 
Koblenz zur VR gekommen. Meine Diplomarbeit habe ich bereits beim 
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS in 
Birlinghoven bei Bonn geschrieben. Nach dem Studium habe ich dann in der 
Abteilung Virtual Environments des IAO in Stuttgart angefangen. Als Diplom- 
informatiker in der Computervisualistik liegt mein Zugang zur VR stärker 
auf der Seite der Anwender:innen. Das Thema meiner Diplomarbeit war ent- 
sprechend auf „Software Ergonomie und Usability“ ausgerichtet. Ich bin also 
kein Entwickler im engeren Sinne. 


Masik: Ich habe ebenfalls Computervisualistik studiert, allerdings an der Uni- 
versität Magdeburg, wodurch mein Zugang zum Thema ausbildungsseitig 
eher aus der Sichtweise der Ingenieurwissenschaft erfolgt. Ich bin zum IFF in 
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Magdeburg gekommen und habe anfänglich in der Abteilung Virtual Develop- 
ment and Training gearbeitet. 


Reinfeld: Bevor wir auf die beiden virtuellen Arbeitsumgebungen, die Sie in 
Stuttgart bzw. Magdeburg betreiben, im Einzelnen eingehen: Können Sie uns 
jeweils noch etwas über die Institute bzw. Abteilungen und die dort verorteten 
Themen und Aufgabenbereiche sagen, in deren Kontext die Anlagen konzi- 
piert wurden? 


Aust: Das Aufgabengebiet des IAO umfasst ein sehr breites Spektrum. Es geht 
hierbei immer um Fragen zur Arbeit der Zukunft aus der Sichtweise der Men- 
schen und weniger in Bezug auf zukünftige Technologieentwicklungen allein. 
Im Kontext des Themenfeldes Arbeitswissenschaften und Ergonomie ist 1992 
auch der Schwerpunkt Virtual Environments am IAO entstanden. Es ging um 
die Frage, wie VR in der arbeitswissenschaftlichen Forschung eingesetzt wer- 
den kann, um Ergonomieanwendungen zu entwickeln. In Deutschland hatten 
wir damit eine Vorreiterrolle. Vor etwa zweieinhalb Jahren wurde das Team 
von „Virtual Environments“ in „Building Culture Innovation“ umbenannt. 
Die Namensänderung ging einher mit einer inhaltlichen Verschiebung der 
Forschungseinheiten des Instituts vom Schwerpunktbereich Ingenieurwissen- 
schaften zum Forschungsbereich Stadtsystemgestaltung. Das lag nicht zuletzt 
an der Neubesetzung der Teamleitung durch Günter Wenzel, der von Hause 
aus Architekt ist und somit das Thema Virtual Architecture stark gemacht hat. 


Masik: Als ich zum IFF kam hatte die Abteilung bereits eine fünfseitige CAVE, 
also einen würfelförmigen, betretbaren VR-Raum, bei dem die Seiten mit 
Echtzeitvideoprojektionen bespielt wurden. Diese CAVE kann als Vorläufer 
des heutigen Elbedomes gesehen werden. Einer der größten Vorteile des 
Elbedomes gegenüber der Vorläufer-CAVE ist seine Größe, die es erlaubt, mit 
mehreren Leuten im Team zu arbeiten. Der Elbedome ist dann als zentrale 
Dienstleistungseinheit für alle Abteilungen angelegt worden, was auch für die 
Außenwirkung des Fraunhofer-Standorts in Magdeburg wichtig ist. Die hier 
angesiedelten Bereiche wie Logistik und Fabrikplanung, Robotik, Fertigungs- 
messtechnik sowie Energieinfrastrukturen und Anlagenbau profitieren stark 
vom Elbedome und seiner Außenwirkung. 


Aust: Wir hatten 2008/09, als ich am IAO anfıng, ebenfalls noch eine klassi- 
sche 6-Seiten-CAVE. Ich durfte einen wichtigen Teil der Planungsphase der 
neuen Anlage miterleben. 
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Reinfeld: Könnten Sie uns in Kärze darlegen, wie die beiden Anlagen jeweils 
technisch aufgebaut sind? 


Masik: Das Konzept der Anlage in Magdeburg ähnelt grundsätzlich noch 
immer dem einer 6-Seiten-CAVE, also einer bildlich virtuellen Umgebung, 
in die die Nutzer:innen komplett integriert sind. Bei der ersten Version des 
Elbedomes gab es nur ein horizontales Panorama, ohne die Einbeziehung von 
Boden und Decke. In der jetzigen Version erstreckt sich die Projektion zusätz- 
lich über den gesamten Bodenbereich (Abb. 5.1). Im Kontext von Fabrik- und 
Produktplanung, welche die Hauptanwendungsfelder des Domes sind, ist es 
von großem Vorteil, den gesamten Boden in die Projektion einzubeziehen, weil 
hierdurch dreidimensionale Objekte wie Maschinen oder Anlagen virtuell im 
Raum platziert und umlaufen werden können. Zudem ist es möglich, alle Bild- 
Projektoren unauffällig im oberen Teil des Domes zu platzieren. Wir wollten 
die Bilder nicht von der Rückseite auf die Wände werfen, weil das sehr viel 
mehr Platz beansprucht und zudem die Anlage deutlich verkompliziert hätte. 
Wir verwenden insgesamt 25 Projektoren, um die stereoskopischen Bilder zu 
erzeugen, 16 für den Boden und 9 für das Panorama. Am Boden benötigen 
wir mehr Projektoren, weil die Nutzer:innen hier näher an den Bildern sind 
und deshalb die einzelnen Pixel möglichst klein sein sollen. Zudem wird der 
Schattenwurf der Besucher:innen durch die vielen Lichtquellen minimiert. 
Die Stereoskopie ist vor allem wichtig, um virtuelle Objekte, die mitten im 
Elbedome stehen, echtzeitlich als dreidimensionale Objekte sichtbar machen 
zu können. Zum Tracken der Personen im Elbedome verwenden wir unter- 
schiedliche Systeme. Es gibt markerlose Methoden, um Personengruppen ver- 
folgen zu können, und mehrere markerbasierte Trackingsysteme, um einzelne 
Personen zu verfolgen, die die volle Stereosicht erhalten. Dabei werden sechs 
Freiheitsgrade registriert, um die Position und Orientierung von Kopf und 
Kontrollgeräten zu erfassen. Ob stereoskopische Bilder verwendet werden, 
hängt von der Anwendung, den Inhalten sowie der Anzahl der beteiligten 
Personen ab. Wenn es gewünscht ist, um ein Objekt herumgehen oder in es 
hineinschauen zu können, dann werden Stereobilder, die echtzeitlich auf die 
getrackte Kopflage reagieren, benötigt. Für die Betrachtung des Innenraums 
eines Gebäudes hingegen ist der Stereoeindruck weniger wichtig, und bei 
einer Stadtaufsicht kann auf Stereo gänzlich verzichtet werden, weil aufgrund 
des großen Abstands zu den virtuellen Objekten der Tiefeneindruck durch 
Stereoskopie eher unwesentlich ist. 
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Abb. 5.1 Panoramafotografie Innenansicht Elbedome. 


Aust: Als unsere Anlage konzipiert wurde, stand das Thema Bauen und Archi- 
tektur noch nicht ganz so im Vordergrund der Anwendungen wie heute. Es 
war vielmehr die Automobilindustrie, die damals als Hauptkundin im Fokus 
stand. Hieraus leitet sich auch die Ausdehnung der längsten Wand unserer 
Vierseiten-CAVE ab: Ein PKW der Oberklasse (in Stuttgart also eine Mercedes 
S-Klasse) sollte im Maßstab eins zu eins komplett in der CAVE dreidimensional 
platziert werden können, ohne dass das Bild über Wandecken hinweg läuft 
und dadurch sichtbare Knicke erscheinen. Die Vierseiten-CAVE am IAO ist 
nicht quadratisch angelegt, sondern hat im Grundriss die Form eines L mit 
einer Serife (Abb. 5.2). Aus den gleichen Gründen wie in Magdeburg haben 
wir uns gegen eine Decken- und für eine Bodenprojektion entschieden. Das 
besondere an unserer Anlage ist, dass eigentlich das gesamte Gebäude um 
unser Lab herum geplant wurde. Das Gebäude heißt Zentrum für virtuelles 
Engineering. Ursprünglich sollte die CAVE drei Stockwerke des Neubaus ein- 
nehmen, um den nötigen Platz für die Boden- und Decken-Rückprojektionen 
zu schaffen. Doch der Platzaufwand konnte schließlich deutlich reduziert wer- 
den, weshalb auch das Gebäude kleiner ausfallen konnte. Das von Herrn Masik 
angesprochene Problem mit den eigenen Körperschatten lösen wir dadurch, 
dass die Projektionen anstatt senkrecht von oben hier von leicht schräg-vorne 
erfolgen, wodurch die eigenen Schatten immer nach hinten fallen. Dadurch 
werden sie kaum wahrgenommen, weil der Blick meistens auf die große 
Projektionswand gerichtet ist. Eine Besonderheit der Anlage sind schwarze 
Projektionswände, die zwar etwas mehr Licht schlucken, aber dafür den Vor- 
teil haben, dass das Licht weniger in der Projektionswand gestreut wird. Wir 
verwenden insgesamt elf Rechner mit jeweils zwei Grafikkarten, die elf Aktiv- 
Stereoprojektoren bedienen. Die Wände unserer CAVE werden von den Rück- 
seiten bestrahlt. Durch das eingesetzte Spiegelsystem bleibt der benötigte 
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Raum hierfür dennoch sehr kompakt. Wir verwenden nur noch ein optisches 
Trackingsystem, wobei das echtzeitliche Stereobild aktuell nur für eine Person 
berechnet wird. 


Abb. 5.2 CAD-Modell vom technischen Aufbau des 
Immersive Participation Labs. 


Reinfeld: Können Sie noch etwas zur verwendeten Software in den beiden 
Anlagen sagen? 


Masik: Softwareseitig sind wir recht flexibel. Um den Anforderungen von 
Forschungsprojekten gerecht zu werden, ist es häufig notwendig, Anwendun- 
gen auch selbst weiterentwickeln zu können. Kommerzielle Software hat oft 
das Problem, dass sie nicht gut erweiterbar ist für spezielle Anwendungsfelder. 
Um entsprechend flexibel zu sein, nutzen wir die Spiele-Engines Unreal und 
Unity, die beide ganz unterschiedliche Vor- und Nachteile haben. Wenn die 
Qualität der Visualisierung im Zentrum steht und viel Dynamik im Spiel ist, 
verwenden wir eher Unreal. Unity wiederum hat Vorteile, wenn in Forschungs- 
projekten Prototypen zu entwickeln sind. Die Lernkurve beim Arbeiten mit 
Unity ist unserer Erfahrung nach deutlich steiler. 


Aust: Das sieht bei uns ganz ähnlich aus. Zur Zeit benutzen wir für die aller- 
meisten Anwendungen Unity. Anfangs haben wir auch eine selbst ent- 
wickelte Software auf Basis von OpenSceneGraph zum Betrieb der Anlage 
verwendet. Diese wird seit 2012/13 aber nicht mehr für das IPLab verwendet 
und weiterentwickelt. 
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Masik: Eine ähnliche Eigenentwicklung hatten wir anfangs auch, sie ist seit 
2015 nicht mehr im Einsatz, auch wenn sie theoretisch noch laufen wiirde. 


Reinfeld: Mich wiirde interessieren, wie typische Nutzungsszenarien aussehen, 
fiir welche Anwendungsfelder die beiden Anlagen konzipiert wurden. In Ihrem 
Vortrag auf unserer Tagung in Hannover sagten Sie, Herr Aust, dass ein zentra- 
les Ziel der CAVE in Stuttgart darin bestehe, komplexe dreidimensionale Geo- 
metrien besser verstehen zu können. Können Sie das etwas erläutern? 


Aust: Das ist weniger eine besondere Eigenschaft unserer CAVE am IAO, als 
vielmehr eine allgemeine Stärke von Virtueller Realität überhaupt. Indem man 
in der Virtuellen Realität Objekte und Modelle auf eine natürliche Art und 
Weise erleben kann, ist ihr Aufbau schlichtweg einfacher zu verstehen. Zudem 
braucht man zur Ansicht komplexer digitaler 3D-Modelle keinerlei spezi- 
fische Software-Vorkenntnisse. Ein Kunde oder eine Endnutzerin bekommt 
auch ohne Fachwissen einen natürlichen Zugang zur dreidimensionalen 
Erscheinung von Entwicklungen. Das gilt weniger für die Fachkonstrukteure, 
obwohl selbst diese ihre eigenen Modelle oft besser verstehen, wenn sie sie in 
VR betrachten können. 


Reinfeld: Es gibt bei der Anlage in Stuttgart einen starken Anwendungsschwer- 
punkt im Bereich Bauplanung/BIM. Komplexe dreidimensionale Sachverhalte 
sollen anschaulich werden, um sie mit einer Gruppe von (Fach)Planer:innen 
gemeinschaftlich zu betrachten und zu besprechen. Können Sie erklären, wie 
so eine Fachdiskussion im IPLab grundsätzlich abläuft, insbesondere mit Blick 
auf den in der Anlage sehr bewusst vorgesehenen Wechsel zwischen klassi- 
scher Tischbesprechung und immersiver VR-Präsentation? 


Aust: Bei den Anwendungsfällen Architektur und Bauingenieurwesen wer- 
den die Strukturen und Fragestellungen schnell komplex, weil hier die ver- 
schiedenen Disziplinen und Fachplaner:innen zusammenkommen. Selbst 
bei einem simplen Bürogebäude, bei dem das Statikmodell alleine noch recht 
übersichtlich erscheint, wird es in Kombination mit der Architektur und 
unter Hinzunahme z.B. des Heizungs-Lüftungs-Modells und anderer techni- 
scher Gebäudeausstattung schnell kompliziert. Um sich hier gegenseitig die 
jeweiligen Fachdetails anschaulich erklären zu können, hilft VR ungemein. 
Unsere Hauptanwendungsfelder sind entsprechend Planungsbesprechungen 
und Nutzungsabstimmungen. Diese Zusammenkünfte der unterschiedlichen 
Beteiligten laufen dabei immer nach einem festen Schema ab. Die eigentliche 
VR-Durchführungsphase wird in ein Briefing und ein Debriefing eingerahmt. 
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So wird gewährleistet, dass zwischen dem VR-Erlebnis und dem eigentlichen 
Inhalt der Besprechung klar unterschieden wird. Bei der inhaltlichen Vor- 
bereitung des Briefings wird geklart, was das Ziel der Entscheidungsfindung 
in der VR genau ist. Danach wird erst das eigentliche CAVE-System erklart. 
Die ersten Erfahrungen darin werden bewusst anhand projektferner Modelle 
vollzogen, damit in der eigentlichen VR-Phase dann eine Konzentration auf 
die zur Diskussion stehenden Inhalte möglich ist und nicht mehr die Faszi- 
nation fiir die Virtuelle Realität im Zentrum steht. Nach der eigentlichen 
VR-Besprechung ist der bewusste Abbau des Präsenzgefühls der Immersion 
herzustellen, damit im Anschluss wichtige Entscheidungen zum Projekt, die 
vielleicht im überwältigenden VR-Gefühl schwierig zu treffen sind, in der 
Realität nüchtern gefällt werden können. Beim eigentlichen Austausch zwi- 
schen den Personen in der CAVE zeigt sich, wie sehr VR als Kommunikations- 
katalysator fungieren kann, weil die Beteiligten sich gegenseitig und die zur 
Diskussion stehenden Inhalte auf diese Weise besonders gut erfassen können. 
Das gilt insbesondere für die fachfremden späteren Nutzer:innen, denen es oft 
schwerfällt, Ingenieursmodelle überhaupt zu verstehen. 


Reinfeld: Zu der kommunikativen Ausrichtung des Labs trägt neben der offe- 
nen Form — durch das Fehlen einer Wand -, auch die im selben Raum, aber 
außerhalb der CAVE vorhandene Besprechungssituation mit einem großen 
Tisch für mehrere Personen bei. Hierdurch ist es möglich, die VR-Phasen 
zwischendurch immer wieder zu unterbrechen, um entstehende Fragen unter 
Zuhilfenahme weiterer Medien wie Bildprojektionen oder Planmaterial auf 
Papier abseits des interaktiven und immersiven 3D-Modells zu vertiefen. 


Aust: Das stimmt, diese Erweiterung ist als wichtiger Aspekt der Anlagen- 
nutzung entwickelt worden. Der offene Aufbau geht auf unsere Erkenntnisse 
aus der vorherigen 6-Seiten-CAVE zurück. Wir hatten damals zwei Dinge fest- 
gestellt: Zum einen werden CAVEs (nicht nur bei uns, sondern ganz allgemein) 
häufig örtlich ausgelagert in möglichst dunkle, abgeschottete Hallen, die kein 
Streulicht auf die Projektionswände lassen. Zum anderen sind 6-Seiten-CAVEs 
mit ihrer kompletten räumlichen Umschließung aus akademischer Sicht zwar 
konsequent aufgebaute immersive Anlagen, aber aus praktischer Sicht zum 
Arbeiten in gewissem Sinne ungeeignet. Man stellt relativ schnell fest, dass 
die sechste Wand, durch die man die CAVE betritt, häufig offen gelassen wird, 
eben weil man zwischendurch doch noch einmal raus muss, um etwas zu 
holen, sich Notizen zu machen oder sich bei normalem Licht mit jemandem 
zu besprechen. Auf Grundlage dieser Erfahrungen haben wir die neue CAVE 
offener gestaltet und sie zentral in das Hauptgebäude integriert. Der gewollte 
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Wechsel zwischen Virtualität und Realität kann somit auch spontan erfolgen, 
um Themen und Fragen, die in der VR auftauchen, außerhalb weiterzuver- 
folgen. Aufgrund der Nahe zur offenstehenden CAVE bleibt zudem der Blick- 
kontakt zum zugehörigen 3D-Bild bestehen. 


Reinfeld: Herr Masik, die Konzeption des Elbedome ist etwas anders gelagert. 
Hier begeben sich die Teilnehmer:innen bei der Benutzung der Anlage gänz- 
lich in einen sie voll umschließenden Projektionsraum. Sie bezeichnen die 
Anlage selbst als „360°-Mixed-Reality-Erlebnisraum“. Das klingt etwas weiter 
gefasst, insbesondere wegen des Begriffs „Erlebnisraum“. Können Sie diese 
Begriffswahl und die dahinterstehende Idee des Labs erläutern? 


Masik: Wir haben ganz verschiedene Einsatzszenarien. Im einfachsten Fall 
steht das pure Erleben im Mittelpunkt. Hierbei wird der Dome betreten, um ein 
virtuelles Modell, z.B. ein Gebäude oder eine Fabrik, in der umschließenden, 
stereoskopischen 3D-Ansicht zu erleben, bevor sie physisch realisiert wer- 
den. Bei dieser Anwendung werden oft Planer mit ihren Kunden zusammen- 
gebracht, um unterschiedliche, vorbereitete Varianten von Gebäuden oder 
Anlagenteilen zu besprechen. Die Interaktionsmöglichkeiten mit dem virtu- 
ellen Modell sind bei diesen Nutzungsszenarien bewusst eingeschränkt. Es 
ist üblicherweise nicht vorgesehen, live etwas am Modell zu verändern, son- 
dern eher vorab definierte Varianten zu diskutieren und zu bewerten. Wenn 
es bei einer Besprechung mehr in die Tiefe gehen soll und der Planungsstand 
noch relativ offen ist, können Änderungen direkt am Modell vorgenommen 
werden. Da diese Modifikationen in der Regel eine Anpassung des zugrunde- 
liegenden Planungsmodells nötig machen, müssen sie über das entsprechende 
Planungswerkzeug durchgeführt werden. Mit Hilfe von Unity Reflect können 
verschiedene Werkzeuge in Echtzeit an den Elbedome angebunden und die 
erstellten Modelländerungen direkt wieder visualisiert werden. Solche kurz- 
fristigen Modelländerungen setzen voraus, dass die Kunden mit bestimmten 
Werkzeugen wie Autodesk Revit, Navisworks, SketchUp, oder Rhino arbeiten und 
die Modelle nicht zu komplex sind, weil sonst die Synchronisation zu lange 
dauern würde. Herr Aust hat es angesprochen: am Ende muss immer auch ent- 
schieden werden, ob der Aufwand wirtschaftlich ist. Entsprechend sind wir 
eher gewillt, die Modelle möglichst ‚einfach‘ zu halten, um auf das avisierte 
Problem zu fokussieren, und lieber mit Varianten zu arbeiten, über die dann 
gemeinsam entschieden werden kann. 


Aust: Im Elbedome ist schon durch die schiere Größe der Anlage eine andere 
Art von Erlebnis möglich als bei uns. Weil die einzelnen Zimmer eines 
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Wohnhauses eins zu eins in den Elbedome hineinpassen, kann ein virtuelles 
Gebäude dort ‚erlaufen‘ werden, ohne zusätzliche unnatürliche Navigations- 
methoden anwenden zu müssen. 


Reinfeld: Sie betonen beide (wenn auch mit etwas unterschiedlichen Ziel- 
richtungen) die Wichtigkeit der zwischenmenschlichen Kommunikation in 
Ihren VR-Laboren. Die Möglichkeit, sein Gegenüber (und sich selbst) im vir- 
tuellen Raum mit eigenen Augen sehen und hierdurch auf natürliche Art und 
Weise miteinander kommunizieren zu können, stellt eine der größten Stär- 
ken der beiden CAVES im Vergleich mit HMD-gebundener VR dar. Zudem 
ist die sichtbare Verankerung der Personen im 3D-Bildraum bemerkenswert: 
Man sieht sich selbst und die anderen Beteiligten im Modell als anwesende 
Körper, sie wirken dadurch fast wie fleischgewordene Photoshop-Menschen, 
wie man sie aus traditionellen Perspektiv-Renderings kennt. Eine seltsame 
Umkehrung - aber auch eine großartige Belebung des Bildraums, die ein 
vollkommen anderes Präsenzgefühl erzeugt, als es das vereinzelte Betreten 
einer 3D-Welt mit HMDs ermöglicht, selbst wenn Avatare anderer Personen 
zugegen sind. Das abschottende und vereinzelnde Moment, das VR-Brillen 
mit sich bringen, kann hier also überwunden werden. Ist das in Zeiten, da 
auch HMD-Technik immer stärker mit Eye-Tracking, Mimikerkennung und 
entsprechender Avatar-Animation arbeitet, noch immer ein Alleinstellungs- 
merkmal der Anlagen? 


Masik: Ich vermute, Herr Aust und ich sind uns einig, dass HMD-gebundene 
VR und unsere CAVE-Systeme nicht als Konkurrenz, sondern als gegenseitige 
Ergänzung verstanden werden müssen. Gerade mit AR-Brillen werden die 
Schwächen der Selbstwahrnehmung im Gegensatz zu VR-HMDs deutlich 
verbessert. Und es gibt diesen als „Uncanny Valley“ bezeichneten Effekt, der 
besagt, dass wir unbewusst menschenähnlichen Avataren misstrauen und dies 
vor allem dann, wenn sie eigentlich besonders realistisch erscheinen sollen, 
aber Kleinigkeiten wie Körper-, Haar- oder sogar Augenbewegungen unnatür- 
lich sind. Das ist ein klassisches Problem der Computergrafik und auch der 
Robotik. Deshalb werden die Charaktere in Animationsfilmen auch häufig 
bewusst abstrakt und vereinfacht und nicht wie echte Menschen dargestellt. 
Je menschenechter animierte Wesen aussehen, desto unangenehmer und 
unnatürlicher wirken sie in gewisser Weise auf uns, wenn sie letztendlich doch 
nicht absolut perfekt sind. Auch die natürliche Kommunikation mit Mimik 
und Gestik ist nach wie vor schwer kopierbar, auch weil das dafür notwendige 
Level von Live-(Mimik-)Tracking herausfordernd ist. Einfach mit dem Finger 
auf etwas hindeuten zu können, es auf natürliche Weise zu zeigen, diese für 
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die zwischenmenschliche Kommunikation wesentliche Geste ist bei uns ohne 
zusätzliche Technik möglich, das ist unheimlich wertvoll. Uns ist aber dennoch 
wichtig, dass alle für den Elbedome umgesetzten VR-Erlebnisse skalierbar 
sind. Das bedeutet, dass die virtuellen Modelle auch mit normalen VR-Brillen 
betrachtet werden können. Damit möchten wir auch Personen, die nicht live 
vor Ort sind, die Möglichkeit geben, sich über eine VR-Brille aus der Distanz 
dem Erlebnis hinzuzuschalten. Zudem können hierdurch die Inhalte, die die 
Kunden im Elbedome erlebt haben, auch ‚mitgenommen‘ werden, um sie im 
Anschluss auf mobilen Geräten nochmals zu betrachten. 


Aust: Ich kann nur bestätigen, dass das Sehen des eigenen Körpers ein ganz 
wichtiges Moment für die Wahrnehmung insgesamt ist, insbesondere für die 
Einschätzung von Größenverhältnissen und die eigene Verortung im Raum. 
Das können Avatare derart nicht leisten. Auch wir arbeiten dennoch daran, 
HMDs von außerhalb in CAVE-Sessions live einbinden zu können. Aktu- 
ell bin ich an einem BMBF-Projekt beteiligt, bei dem es unter anderem um 
Multi-User-VR geht. In einem dort assoziierten Projekt mit dem Titel Avatar 
wird erforscht, wie verschiedene Personen sich remote von unterschiedlichen 
Orten aus zusammenschalten können und welche Rolle die Art der Avatar- 
Visualisierung dabei spielt. Das Aussehen und die Bewegungen von Personen 
sowie ihre Mimik werden mit Hilfe einer Kamera getrackt, die automatisch 
eine Punktewolke erzeugt. Zwei Arten der Visualisierung dieser 3D-Daten 
der Personen wurden verglichen: Einerseits ein möglichst realistischer Ava- 
tar, wie in einem Computerspiel, der auch das Gesicht des Gegenübers sehr 
wirklichkeitsgetreu inklusive Mimikerkennung und Eye-Tracking wiedergibt. 
Andererseits die rohe Punktewolke des freigestellten Körpers. Beim Vergleich 
der beiden Umsetzungen stellte sich heraus, dass die meisten Anwender:innen 
den einfachen Punktewolken-Charakter bevorzugten, obwohl das Freistellen 
vom Hintergrund nicht immer perfekt funktioniert und im Gesicht der Per- 
sonen ein großes Loch klafft, weil der zentrale Gesichtsbereich aufgrund des 
HMDs verdeckt und damit nicht darstellbar ist. Die Teilnehmer:innen emp- 
fanden das gesichtslose und grobe Avatar-Modell als besser, weil es ihnen trotz 
der grafischen Defizite ‚echter‘ erschien, da es wie ein Video aus der Wirklich- 
keit abgegriffene Livedaten repräsentiert. Das bestätigt unsere Erfahrungen zur 
Kommunikation in der CAVE: Wenn man direkt neben einer realen Person 
steht, mit der man kommunizieren kann, dann bewirkt das eine andere Stufe 
von Präsenzgefühl. 


Reinfeld: Gleichwohl ist die visuelle Welt bezogen auf die perspektivische 
Darstellung in beiden Anlagen monozentral: Nur auf den Standpunkt einer 
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getrackten Person hin wird das dreidimensionale Bild korrekt berechnet. Wie 
sehr schränkt diese Tatsache die Mehrbenutzerfähigkeit der beiden Anlagen 
ein? 


Aust: Ja, das ist tatsächlich ein Problem und man muss den Nutzer:innen vor 
Beginn der Anwendung diese Besonderheit des Systems auf jeden Fall erklären. 
Im Elbedome dürfte das Problem anlagenbedingt noch größer sein als bei uns, 
weil der Abstand zwischen der getrackten Person, fiir die das Bild berechnet 
wird, und weiteren in der Anlage anwesenden Personen ziemlich groß sein 
kann und die Projektionswand weiter entfernt ist. Die technisch einfachste 
Lösung des Problems besteht darin, auf mehrere getrackte Brillen zu setzen, 
um spontan die korrekte Perspektivberechnung zwischen verschiedenen Per- 
sonen umschalten zu können. Wir arbeiten aber auch an Möglichkeiten, meh- 
rere individuell richtige Standpunktberechnungen gleichzeitig umsetzen zu 
können. 


Masik: Bei uns ist das Problem nicht nur wegen der Ausmaße der Anlage 
größer, sondern auch wegen des 360°-Aufbaus. Wenn ein:e Nutzer:in in die 
entgegengesetzte Richtung der getrackten Brillenträger:in blickt, wird die 
Verzerrung extrem stark, weil die Augenseiten invertiert erscheinen. Eine 
Möglichkeit, mehrere Perspektiven gleichzeitig zu berechnen, bestünde in 
der Aufsplittung der Projektionsbilder. Unsere Projektoren schaffen 120 Hertz, 
so dass man, anstatt jedes Auge einer Person mit 60 Bildern pro Sekunde zu 
versorgen, auch den vier Augen von zwei Personen nur 30 Bilder zuspielen 
könnte. 30 Hertz pro Auge sind allerdings recht wenig und es würde zudem 
merklich dunkler, weil auch die Lichtleistung der Projektoren entsprechend 
aufgeteilt und damit abgeschwächt würde. Zusätzlich wäre die Ansicht der Bil- 
der auf den Oberflächen im Dome für die Besucher:innen ohne Stereo-Brillen 
völlig unverständlich. Aktuell sind diese Bilder für die nicht getrackten Per- 
sonen noch gut zu erkennen. Werden aber die Bilder für zwei Personen, die 
an unterschiedlichen Stellen im Raum stehen und in unterschiedliche Rich- 
tungen blicken projiziert, wird man ihren Inhalt von ‚außen‘ überhaupt nicht 
mehr erkennen können. Eine mögliche Lösung dieser Probleme bietet die 
sogenannte Omni-Stereoskopie, bei der einfach ausgedrückt jeder Bildpunkt 
für das linke und rechte Auge so berechnet wird, als ob ein getrackter Nutzer 
ihn gerade direkt anschauen würde. Dafür wird der normalerweise getrackte 
Augpunkt in der Regel auf den Mittelpunkt des Elbedomes festgelegt. Alle 
Personen, die sich im Zentrum der Anlage aufhalten, können das relativ kor- 
rekte stereoskopische Bild dann in alle Blickrichtungen sehen. Die Möglich- 
keit des dynamischen Umlaufens von Objekten fällt dabei weg, was bei einigen 
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Anwendungsszenarien aber auch verzichtbar ist. Dieser Stereo-Modus ist inte- 
ressant, wenn virtuelle Objekte sich nicht zu nah am Mittelpunkt befinden, da 
sie stark verzerrt werden wiirden und der fokussierte Modellgegenstand etwa 
fünf bis zwanzig Meter entfernt ist. Bei größeren Distanzen kann auf Stereo- 
skopie auch gänzlich verzichtet und monoskopisch projiziert werden. 


Reinfeld: Das erinnert schon fast wieder an die Funktionalität eines klassischen 
Bildpanoramas aus dem neunzehnten Jahrhundert, bei dem sich die Zuschau- 
er:innen ebenfalls in einem zentralen Bereich eines Baus aufhalten müssen, 
um von dieser Stelle eine nahezu korrekte Sicht auf die Multiperspektive des 
sie umschließenden Bildes zu erhalten. 

Herr Aust, bei Ihrem Vortrag in Hannover sagten Sie, dass sich mit VR die 
Schnittstelle zwischen Mensch und Daten in gewisser Weise auflöst bzw. dass 
die Grenze zwischen diesen beiden Kategorien nicht mehr eindeutig bestimm- 
bar ist. Können Sie die mit dieser Aussage verbundene Änderung der Mensch- 
Maschine-Schnittstelle in Virtual-Reality-Umgebungen noch einmal erklären? 


Aust: Wenn man eine Gruppe von Personen auffordert einen Computer zu 
zeichnen, dann entstehen meistens ein Monitor, eine Tastatur und eine Maus. 
Wenn man diese Frage auf die Virtuelle Realität überträgt und darum bittet 
zu zeichnen, was diese bedeutet, dann zeichnen die Befragten zunächst eine 
VR-Brille. Und das, obwohl man in der Virtuellen Realität die Brille eigent- 
lich nicht mehr wahrnimmt, sondern nur die Virtuelle Welt. Das meine ich 
mit dem Verschwinden der Schnittstelle. Die Controller, die ich in den Hän- 
den halte, sehe ich nicht mehr als solche, sondern Ersatzbilder hiervon, wie 
z.B. virtuelle Hände oder irgendeine Art von virtuellem Werkzeug. Das eröffnet 
die Frage, wo sich die Mensch-Maschine-Schnittstelle eigentlich befindet, weil 
sie als solche nicht mehr wahrnehmbar ist. 


Reinfeld: Die beiden Anlagen sind nicht nur Orte der Simulation virtueller Wel- 
ten, sondern auch selbst physische Orte im Hier und Jetzt mit eigenen Quali- 
täten. In seinem Vortrag in Hannover hatte Herr Aust die planungszentrierte 
Anwendung des IPLabs einer nutzerzentrierten Anwendung z.B. in Bürgerbe- 
teiligungsverfahren gegenübergestellt. Bei letzterer scheint mir die Verwendung 
des Labs über die bloße Klärung von Fachfragen hinauszureichen. Die Anlage 
wird zu einem kommunikativen, vielleicht sogar sozialen Ort. Herr Masik hatte 
bei unserem Besuch in Magdeburg erwähnt, dass die CAVE auch zu psycho- 
logischen Trainingszwecken eingesetzt wird. Können Sie beide etwas zu dieser 
sozialen, zwischenmenschlichen Komponente in der Nutzung der VR-Anlagen 
sagen? Vielleicht auch im Sinne von Erfahrungen und Beobachtungen, die Sie 
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gemacht haben, bei denen Beteiligte Verhaltensformen zeigen, wie wir sie aus 
der realen Welt in dieser Form nicht kennen? 


Masik: Besucher verhalten sich in der Anlage vollkommen unterschiedlich. 
Auch wir haben, wie es Herr Aust schon fiir das IPLab beschrieben hat, diese 
verschiedenen Phasen der Benutzung eingerichtet. Zu Beginn sollen die Besu- 
cher:innen zunächst die Möglichkeit erhalten sich ein wenig auszuprobieren, 
um zu verstehen, wie das alles funktioniert im VR-Dome. Dabei sieht man 
schnell, wie unterschiedlich die Leute mit der Situation umgehen. Manche 
agieren sehr zögerlich, wirken ein bisschen wackelig und verunsichert. Bei 
anderen Teilnehmer:innen habe ich direkt Angst, dass sie gegen unsere Lein- 
wand krachen, so stürmisch laufen sie in die virtuelle Umgebung hinein. Man- 
che schmeißen sich auch euphorisch auf den Boden, um unter ein virtuelles 
Modell gucken zu können. Es gibt aber auch Personen, die eine regelrechte 
Blockade bekommen, wenn sie die getrackte Brille aufsetzen. Sie wollen sich 
dann gar nicht mehr bewegen, als wären sie zu Stein geworden. Diese Perso- 
nen würden sich auch nie trauen, durch eine virtuelle Wand hindurchzugehen. 
Obwohl sie es intellektuell verstehen, wollen sie partout nicht wahrhaben, 
dass im virtuellen Raum Dinge möglich sind, die im physischen Raum nicht 
funktionieren. 


Aust: Eine interessante Erkenntnis besteht auch darin, dass in einem VR- 
Modell Fachplaner, vorsichtig ausgedrückt, manchmal überrascht wirken, 
dass andere Beteiligte, insbesondere die zukünftigen Nutzer:innen, plötzlich 
mitreden und eigene Ideen beisteuern. Das ist letzteren angesichts eines Fach- 
plans aufgrund der fehlenden Kenntnis der dort verwendeten Abstraktionen 
und Symbole oftmals unmöglich, weil sie sich schwer tun zu verstehen, was 
auf dem Plan überhaupt dargestellt ist. Wir merken aber wiederum auch, dass 
Planer:innen untereinander eine ganz andere Wertschätzung für die Entwürfe 
und Themen des Gegenübers zeigen. 


Reinfeld: Ich erlebe häufig, dass Studierende, aber auch erfahrene Kolleg:innen, 
die erstmals Kontakt mit VR haben, zunächst überfordert sind. Auch wenn 
seit Jahrzehnten im digitalen 3D-Raum von CAD-Programmen gearbeitet 
wird, sind die antrainierten Abstraktionsverfahren in Grundriss, Schnitt und 
Ansichten mit ihren Symbolen und zeichenhaften Übereinkünften derart prä- 
gend für die Kommunikation über Architektur, dass sich der direkte, körper- 
bezogene und echtzeitliche Zugang zum Eins-zu-eins-Raum in VR für sie 
seltsam schwierig darstellt. 
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Aust: Je höher die Abstraktionsverfahren in den Disziplinen sind, desto schwe- 
rer tun sich die Fachleute. Die auf reine Linien und Symbole reduzierten Plan- 
darstellungen der Elektrotechnik sind ein gutes Beispiel hierfiir. 


Reinfeld: Ich frage mich, ob es im 3D-Raum der Virtual Reality eventu- 
ell neue und anders funktionierende Formen der Abstraktion braucht, um 
kommunikationsfahig zu bleiben. Ich möchte diesen fachplanerischen 
Schwerpunkt der Anlagen zum Ende unseres Gesprächs nochmal bewusst ver- 
lassen. Denn die Labore sind jenseits ihrer Nutzung zur Verständigung über 
komplexe dreidimensionale Sachverhalte auch räumlich-immersive Erlebnis- 
welten. Wir haben den Elbedome bei unserem Besuch als eine faszinierende 
Bild-Raum-Maschine erlebt, die vollkommen neue und ungewohnte Wahr- 
nehmungsformen ermöglicht. In der vom früheren Intendanten der Berliner 
Festspiele Thomas Oberender konzipierten Programmreihe The New Infinity 
wird seit einigen Jahren versucht, die besonderen bildräumlichen Möglich- 
keiten von Planetarien als künstlerische Erfahrungsorte nutzbar zu machen. 
Die Projektionskuppeln mit ihrer außergewöhnlichen Form werden bilden- 
den Künstlerinnen, Klangkiinstler:innen, Filmemacher:innen und Game- 
Designer:innen zur Konzeption neuer, immersiver Ausdrucksformen zur 
Verfügung gestellt. Im Elbedome ergeben sich aufgrund der Umkehrung der 
Projektionskuppel von oben nach unten, insbesondere bezogen auf eine Ein- 
bindung des Publikums, nochmals völlig andere kreative Optionen. Uns hat die 
überwältigende visuelle Wirkung des Ortes sehr beeindruckt. Selbst ohne den 
stereoskopischen Bildeffekt erzeugt die dynamische und interaktive Bindung 
des 360°-Bildes an eine sich im Raum bewegende Person eine sehr ungewöhn- 
liche Dynamik, die eine geradezu performative Kraft ausstrahlt. Wurde eine 
Verwendung des Elbedomes als Ort künstlerischer Experimente in der Ver- 
gangenheit in Betracht gezogen oder womöglich bereits erprobt? 


Masik: So umfassend und gezielt wie Sie das hier vorstellen leider nicht. Aller- 
dings ist uns bewusst, dass unser Tracking-System im Prinzip auch ein Motion- 
Capturing-System ist. Einmal konnten wir bewundern, was mit diesem System 
im Elbedome im künstlerisch-kreativen Bereich möglich wäre: Bei der Live- 
Aufführung eines Tänzers, dessen Körper mit Tracking-Markern versehen war, 
wurden die Bewegungen in Echtzeit auf einen im Dome projizierten Avatar 
in der virtuellen Welt übertragen. Besonders die Doppelung der Bewegungen 
zwischen realem Körper und virtuellen Bewegungen war sehr eindrück- 
lich. Leider ist das bisher die einzige Form einer künstlerischen Nutzung 
des Elbedomes gewesen. Wir sind da als klassische Informatiker und Inge- 
nieure doch eher unkreativ, würden uns aber freuen, die Anlage auch solchen 
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Nutzungsszenarien zu öffnen. Ein weiteres Anwendungsszenario, bei dem 
nicht die Visualisierung eines dreidimensionalen Sachverhalts im Zentrum 
steht, erproben wir seit einiger Zeit. Dabei geht es darum, den Elbedome als 
eine Art explorierbaren, interaktiven Wissens- oder Lernraum zu nutzen, denn 
in dem Raum lassen sich auch soziale Interaktionen mit visuellem Feedback 
umsetzen. Bei diesen Anwendungen werden Projektionen auf dem Boden und 
den Wänden des Domes verwendet, um Verhaltensweisen von Personen in der 
Gruppe zu bestätigen oder zu kommentieren. So können soziale Interaktionen 
und gruppendynamisches Verhalten untersucht und entwickelt werden. Das 
sind aber Ansätze, mit denen wir gerade erst beginnen zu arbeiten. 


Reinfeld: Während derartige Möglichkeiten einer erweiterten Verwendung des 
Ortes fär darstellende und performative Formate vor allem im Elbedome vor- 
stellbar sind, eröffnet sich beim IPLab möglicherweise eine andere interessante 
konzeptionelle Parallele: In der bewussten Verbindung einer kommunikativen 
Besprechungssituation und einer zuschaltbaren, virtuellen Raumerweiterung 
erinnert der Ansatz des Labs an Ideen, wie sie in Erweiterung von Mark Zucker- 
bergs Social-Media-Plattformen unter der Bezeichnung Metaversum diskutiert 
werden. Die hierbei in Aussicht gestellten virtuellen Zusammenkünfte meh- 
rerer Nutzer:innen sind, zumindest auf den Bereich der Arbeitswelt bezogen, 
vom Ansatz her durchaus artverwandt zu der Konzeption des IPLabs. Würden 
Sie mir darin zustimmen? Wie ordnen Sie die Diskussionen zum Thema eines 
künftigen Metaversums in diesem Zusammenhang ein? 


Aust: Wie ich bereits erwähnt habe verfolgen wir derzeit Pläne das Labor 
aus- und umzubauen, wobei auch der Begriff „Metaverse“ schon gefallen ist; 
insbesondere die Option Satelliten hinzuzuschalten, also Teilnehmer:innen 
einzubinden, die sich von andernorts mittels VR in die Labor-VR zuschalten. 
Egal, ob mit HMDs oder sogar aus einer anderen großen CAVE-Anlage heraus. 
Gerade eine echtzeitsynchronisierte VR-Sitzung zwischen Immersive Partic- 
pation Lab in Stuttgart und Elbedome in Magdeburg wäre ein denkbares und 
wirklich aufregendes Szenario. Von solchen Vorstellungen ist es zur Idee des 
Metaverse ein nicht mehr so weiter Weg. 


Reinfeld: Und haben Sie dabei eher die Vorstellung eines fragmentierten 
Raums im Kopf, bei dem jede:r Teilnehmer:in, wenn man so will, einen Teil der 
eigenen Wirklichkeit in den kollektiven VR-Raum mit einbringt, oder bedarf 
es eher eines virtuellen Gemeinschaftsraums, der weitgehend vordefiniert und 
unabhängig von den individuellen Realitäten der Teilnehmer:innen ist? 
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Aust: Das ist vor allem von der Anwendung und von der Zielsetzung abhängig. 
Bei Gebäude- und Anlagenfragen liegt es nahe, sich direkt in virtuellen Stellver- 
tretern der Orte und Räume zu treffen, deren Gestaltung zur Diskussion steht. 
Wenn es primär darum geht sich zu besprechen, unabhängig von einer baulich- 
räumlichen Frage, dann haben vorkonfigurierte virtuelle Besprechungsräume 
wahrscheinlich mehr Sinn. Aber sicher stellt auch die Möglichkeit von frag- 
mentierten Räumen, bei denen jede:r etwas aus seiner Realität einbringt, was 
der Anwendung oder Zielsetzung zuträglich ist, ein interessantes Szenario dar. 


Masik: Ich sehe das alles eher skeptisch. Meta und Facebook sind weder die 
einzigen noch die ersten, die in diese Richtung entwickeln und forschen. 
NVIDIAs Omniverse wäre so eine Plattform, die zugleich auf professionellere 
Anwendungsszenarien abzielt. Da gibt es im Industriebereich durchaus schon 
einiges, das tatsächlich erprobt wird. Es ist am Ende auch immer eine öko- 
nomische Frage. Es muss schon nachhaltige Vorteile bringen und vor allem 
von den beteiligten Personen angenommen werden, weil der Aufwand, virtu- 
elle Arbeitsplattformen zu produzieren und stets aktuell zu halten, nicht zu 
unterschätzen ist. 


Reinfeld: Sehr geehrter Herr Aust, sehr geehrter Herr Masik, ich danke Ihnen 
sehr für das interessante Gespräch und hoffe, mich in naher Zukunft bei einem 
virtuellen Zusammenschluss von Elbedome und Immersive Participation Lab 
per VR-Brille aus Braunschweig oder Berlin hinzuschalten zu können. 


Bildnachweise 
Abb. 5.1: © Uwe Völkner, Fraunhofer IFF. 


Abb. 5.2: Immersive Participation Lab, Fraunhofer-Institut für Arbeitswirtschaft und 
Organisation IAO, Stuttgart. 


II. Bild-Räume des Erzählens und Vermittelns 


Hybride Realitäten 


Virtuelle Theater-Architekturen und kokreative Performance-Räume 


Franziska Ritter, Pablo Dornhege 


Die Ursprünge virtueller Welten, bildhafter Räume und raumbezogener Erzähl- 
weisen liegen im menschlichen Bedürfnis, Geschichten sinnlich erlebbar zu 
machen. In dieser Motivation begründet sich auch die enge Beziehung zwi- 
schen Virtual Reality und dem Theater: Als Weltenbauer ermöglichen sowohl 
Theaterschaffende als auch VR-Entwickler:innen ihrem Publikum den Besuch 
fremder Orte oder Zeitreisen in Zukunft und Vergangenheit - hier trifft der 
Wirklichkeitssinn auf den Möglichkeitssinn. Beide sind räumlich-immersive 
Medien und arbeiten mit ähnlichen Methoden wie zum Beispiel dem Auf- 
heben physikalischer Gesetze, dem Spiel mit gesellschaftlichen Konventionen; 
beide behandeln Fragen nach Partizipation und geben Möglichkeiten des 
Perspektivwechsels. Theater und Virtual Reality sind offene Spielräume und 
Labore für Gedankenexperimente. Der Blickwinkel dieses Beitrags ist geprägt 
von unserer künstlerisch-technischen Auseinandersetzung mit Virtual Reality 
und Theater - in ihrer Rolle als Imaginationsräume, als Orte des gemeinsamen 
Erlebens, Reflektierens und Lernens, als Möglichkeiten der Kunsterfahrung 
und der reflexiven Selbstwahrnehmung. In unserem Forschungsprojekt Im/ 
material Theatre Spaces! haben wir die Potenziale immersiver Technologien 
im Zusammenspiel mit dem Theater und seinen räumlichen, technischen und 
erzählerischen Qualitäten untersucht. Im vorliegenden Textbeitrag setzen 
wir zwei Virtual-Reality-Erlebnisse aus diesem Forschungsprojekt in Bezug 
zueinander und betrachten sie im Kontext weiterer Projekte aus den Bereichen 
Museum, Game Design, Film und Theater. 

Das VR-Erlebnis Ein Abend im Großen Schauspielhaus - Virtual Reality Zeit- 
reise Berlin 1927 hat den Anspruch, dem Theater als immaterielle Kunstform 
in seiner Ganzheitlichkeit gerecht zu werden sowie theaterhistorisches Wis- 
sen zu vermitteln.” Im Mittelpunkt steht hier die Rekonstruktion des nicht 


ı Ein Projekt der Deutschen Theatertechnischen Gesellschaft unter Leitung von Pablo Dorn- 
hege und Franziska Ritter, gefördert durch die Beauftragte der Bundesregierung für Kul- 
tur und Medien (2019-2021). Weitere Informationen zum Projekt: https://digital.dthg.de 
[27.01.2022]. 

2 https://digital.dthg.de/schauspielhaus [27.01.2022]. Anlass war das ı00-jährige Bühnen- 
jubiläum des Friedrichstadt-Palastes Berlin. Hervorzuheben ist die Zusammenarbeit mit 
weiteren Kooperationspartnern wie dem Stadtmuseum Berlin und dem Architekturmuseum 
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mehr existierenden Großen Schauspielhaus Berlin — eine der theaterarchi- 
tektonischen Ikonen des 20. Jahrhunderts.3 Die kulturelle Vermittlung von 
Theater, seiner Geschichte und seines Erbes ist per se eine herausfordernde 
Aufgabe, denn seine Eigenheit als ephemere Kunstform und seine Komplexi- 
tät als Gesamtkunstwerk lassen sich schwer retrospektiv wiedergeben. Zum 
immateriellen Kulturerbe Theater gehört eben weit mehr als das, was auf der 
Bühne dargeboten wird: die Geschichten und die Vielfalt seiner Beteiligten, 
das Zusammenspiel der künstlerisch-technischen Kräfte und die besondere 
Theater-Atmosphäre. Dieser Herausforderung begegnen wir mit mithilfe der 
virtuellen Technologie und narrativer Methoden: In dem VR-Erlebnis laden uns 
drei Protagonist:innen auf ihre persönliche Erinnerungsreise durch das Große 
Schauspielhaus ein und vermitteln uns ein vielstimmiges Bild. So ergeben sich 
Fragen nach unterschiedlichen räumlichen Erzählweisen und ihren Wirkungs- 
weisen: Mit welchen dramaturgischen und szenografischen Mitteln gestalten 
wir virtuelle Erlebnisräume? Wie kann ein Raum virtuell in Bewegung ver- 
setzt werden? Und wie tauchen Besucher:innen in so einen bewegten Raum 
ein? Denn ein weiterer Aspekt, den wir hier beleuchten wollen, ist die Frage 
nach der Aktivierung des Publikums: Welche Einflussnahme gestatten wir den 
User:innen und wieviel Interaktion ist möglich, wieviel nötig? Wie werden aus 
passiv Zuschauenden aktive Macher:innen? 

Im Gegensatz zu Ein Abend im Großen Schauspielhaus kennzeichnet unser 
zweites VR-Projekt, den musikalischen Begegnungsraum Spatial Encounters,* 
eine andere Vorgehensweise: Während im Schauspielhaus die Rezipierenden 
eine eher konsumierende Haltung einnehmen, entsteht das künstlerische Werk 
in Spatial Encounters erst durch das kokreative Zusammenwirken und durch 
die räumlichen Beziehungen von mehreren agierenden Personen. Publikum, 
Musiker:innen und Medienkünstler:innen erschaffen gemeinsam eine hybrid- 
reale Raumsituation — live und immer wieder neu. Welche Eigenschaften hat 
eine hybrid-reale ,Zwischenwelt‘ als Übergangsraum? Welche Voraussetzungen 
sind für das Gelingen von Kokreation, Immersion und Kopräsenz im hybrid- 
realen Raum nötig? Und welche Raumwirkungen können in hybriden Parallel- 
welten entwickelt werden? 


der TU Berlin. Digital rekonstruierte Sammlungsobjekte sind in die virtuelle Narration ein- 
gebunden, siehe auch Dornhege und Ritter, „Im/materielle Theaterräume erlebbar machen“. 

3 Theatergründer Max Reinhardt und Architekt Hans Poelzig schufen 1919 mitten in Berlin 
einen der visionärsten Theaterbauten des 20. Jahrhunderts. Mit expressionistischer Formen- 
sprache, innovativer Bühnentechnologie und zukunftsweisendem Bühnenraum wurde er im 
Volksmund als „Tropfsteinhöhle“ berühmt. Während der 1920er brachte dort der Theater- 
leiter Erik Charell durch seine Revuen den Glamour großer Broadway-Shows nach Berlin. 

4 https://digital.dthg.de/hybrid-reale-buehnenraeume [27.01.2022]. 
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Räumliche Erzählweisen — Architektur erlebbar machen 


»Da, hinter der Biihne im Mittelgeschoss rechts, da stand ich am liebsten bevor 
es losging.“ In der Mitte der Hinterbühne hängt auf halber Höhe ein massiger, 
mit Spiegeln versetzter, sich drehender Apparat, der einem überdimensionalen 
Bohrkopf gleicht. Hinter dem Bohrkopf sehen wir den Rundhorizont, die 
gebogene Rückwand der Bühne, auf der wundersame Wolken entlanggleiten 
und ihre Kreise ziehen. „Das Rattern des Wolkenapparats ... ja, so hieß der wirk- 
lich: Wolkenapparat. Der hat einfach nur Wolken produziert ... aber was für wel- 
che!“ Unser Blick schweift vom Rundhorizont Richtung Hinterbühne, wo wir 
aus der Ferne das Gewusel von Statist:innen, Maskenbildner:innen und einer 
Gruppe von Tänzer:innen beobachten können. „Dieses Wolkenrattern zu hören 
und auf das Gewusel hinter der Bühne zu gucken ... das hat mich immer beruhigt.“ 


Dieser Ausschnitt aus dem Drehbuch zur VR-Inszenierung Ein Abend im Gro- 

‚sen Schauspielhaus entführt uns in die Gefühlswelt des jungen Beleuchters 
Otto Kempowski. Man fiebert mit ihm, als er am 23. Dezember 1927 zum ers- 
ten Mal am Verfolger auf der Beleuchterbrücke steht und sich im Großen 
Schauspielhaus Berlin der Premierenvorhang für die gefeierte Sängerin Fritzi 
Massary öffnet. Als virtuelle:r Begleiter:in folgt man Otto Kempowski für zehn 
Minuten durch das imposante Gebäude. Es ist der Premierenabend der Ope- 
rette Mme Pompadour und das Theater zeigt sich von seiner aufregenden, vib- 
rierenden Seite. Bevor sich also der rote Samtvorhang hebt, nimmt uns Otto 
mit hinter die Kulissen und zeigt uns en passant seinen Arbeitsalltag: von der 
einsamen Zigarette am Bühneneingang in klirrender Dezemberkälte, über den 
feucht-fröhlichen Gang durch die rauchgeschwängerte Kantine, bis hin zur 
Seitenbühne, wo andere Techniker hektisch letzte Handgriffe an den Schein- 
werfern vornehmen (Abb. 6.1). Einzelne, aufeinander abgestimmte Raum- 
bilder reihen sich aneinander — wie in einer Art Ausstellungsinszenierung 
oder einem Theaterstück -, zum Teil einander ablösend, zum Teil aufeinander 
aufbauend. Die collagenhaften Raumbilder verknüpfen sich dramaturgisch- 
szenisch zu einem vielschichtigen Gesamterlebnis. So blicken wir durch ein 
digitales Erlebnisfenster in die Vergangenheit, in dem die Geschichte des 
Theaters, seiner Architektur und seiner Kunst räumlich erfahrbar wird. 

Die Art der geführten, linearen Erzähldramaturgie steht im Kontrast zu 
anderen nicht-linearen Dramaturgien, wie zum Beispiel in der VR-Experience 
The Colosseum District von Rome Reborn,? die ebenfalls virtuell rekonstruierte, 
historische Architekturen zum Gegenstand hat. Im nachgebauten alten Rom 


5 https://www.romereborn.org/content/colosseum-district [27.01.2022]. 
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Abb. 6.1 Theatertechniker Otto Kempowski auf der Beleuchterbriicke im VR-Projekt Ein 
Abend im Großen Schauspielhaus - Berlin 1927. 


können sich VR-Nutzer:innen im „explorativen Modus“ zwischen ver- 
schiedenen Monumenten frei hin und her bewegen, von Ort zu Ort tele- 
portieren und dabei ihre Aufenthaltsdauer selbst bestimmen. Auch in der Art 
der Ansprache und didaktischen Aufbereitung stehen sich die beiden Pro- 
jekte diametral gegenüber: Während die Theaterbesucher:innen im virtuel- 
len Großen Schauspielhaus von Protagonist:innen buchstäblich an die Hand 
genommen werden, um auf eine emotionale Erinnerungsreise zu gehen, wird 
in The Colosseum District Geschichtswissen durch eingesprochene Experten- 
kommentare vermittelt. Diese objektive Ansprache wird durch Texttafeln mit 
sachlich aufbereiteten Fakten über die Bauwerke komplementiert. 

Anders verfährt das VR-Projekt Home After War,” das 2018 unter der Regie 
von Gayatri Parameswaran im Irak ‚gedreht‘ wurde. Erzählt wird die tragische 
reale Geschichte einer geflüchteten irakischen Familie, die nach Kriegsende 
in ihre Heimatstadt zurückkehrt. Familienvater Ahmaied Hamad Khalaf lädt 


6 Im Kontext von Computerspielen beschreibt ein „explorativer Modus“ die Möglichkeit der 
Spieler:innen, die Spielwelt frei zu erkunden, anstatt durch eine von dem Spiel vorgegebene 
Dramaturgie von Ort zu Ort geführt zu werden. 

7 https://www.homeafterwar.net [27.01.2022]. 
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dazu ein, mit ihm sein Haus zu betreten, das noch immer die Spuren des 
Kriegsgeschehens aufweist und in dem Sprengfallen lauern könnten. Auch bei 
diesem Projekt kann man sich frei und selbstbestimmt durch das Gebäude 
bewegen. Dabei ist die Raumabfolge bestimmt durch die Architektur und nicht 
durch eine szenografische Gestaltung oder dramaturgische Setzung. Durch die 
photogrammetrische Erfassung und realitätsnahe Rekonstruktion des noch 
existierenden Gebäudes mit all seinen Zerstörungsspuren und persönlichen 
Hinterlassenschaften werden starke Erinnerungsräume geschaffen. Durch 
Ahmaieds Erzählung erfährt der User oder die Userin, wie es ist, sich vor dem 
Zuhause zu färchten, das man einst geliebt hat. Seine Art der direkten persön- 
lichen Ansprache schafft einen emotionalisierten Zugang und führt zu einem 
emphatischen Umgang mit den schwer zu vermittelnden Themen Trauma und 
Verlust. Durch die Art der Personenführung und der Emotionalisierung wird — 
ähnlich wie im Virtuellen Grofsen Schauspielhaus — Distanz abgebaut und eine 
besondere Nähe zur Geschichte hergestellt. 

Eine weitere mögliche Herangehensweise zeigt die Mixed Reality Installa- 
tion Schumann VR der Agentur A4VR® mit einer Zeitreise in das Jahr 1852, bei 
der man sich selbst in die Rolle der Hauptfigur Robert Schumann begibt. In 
der Ich-Perspektive gehen die VR-User:innen auf biografische Spurensuche 
im historischen Düsseldorf und werden Zeugen von Robert und Clara Schu- 
manns musikalischem Wirken. Die Protagonist:innen sind mit Motion Cap- 
ture, 3D-Scans und Volumetric Capturing aufgezeichnet, dazu gibt es exakte 
photogrammetrische Reproduktionen von Artefakten. Die Stadt ist anhand 
von Stadtplänen, Stichen und alten Fotos in Zusammenarbeit mit Histori- 
ker:innen aufwendig rekonstruiert worden - auf diese Weise wird hier Musik- 
geschichte erfahrbar gemacht. 

Die aufgezeigten Vergleichsprojekte verwenden unterschiedliche, aber 
singuläre Erzählperspektiven und zeichnen damit ein bestimmtes mono- 
perspektivisches Bild von Musik-, Stadt- oder Zeitgeschichte. Um Theatererbe 
und theaterhistorisches Wissen in all seinen Facetten - als architektonischen 
und als thematischen Raum - erlebbar zu machen, nähern wir uns im VR- 
Projekt Ein Abend im Großen Schauspielhaus dem Theater aus drei ver- 
schiedenen Richtungen: Neben dem bereits erwähnten Erzählstrang des 
Bühnentechnikers Otto Kempowski haben die Nutzer:innen die Option, ent- 
weder den Theaterbesucher Walter Schatz durch die eindrucksvollen Foyers in 
den Zuschauerraum zu begleiten oder mit der Sängerin Fritzi Massary durch 
den Bühneneingang in ihre Garderobe zu gelangen und schließlich an der 
Bühnenkante vor dreitausend Zuschauer:innen zu stehen. Die Notwendigkeit, 


8 https://www.schumannvr.com [27.01.2022]. 
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zu Beginn der Experience zwischen verschiedenen Protagonist:innen zu 
wählen, führt zu unterschiedlichen inhaltlichen und architektonischen 
Annäherungen an das Theatergebäude (Abb. 6.2): So vermittelt uns der Blick 
des Theatergasts Walter Schatz die gesellschaftspolitische Spannung in dervon 
der Wirtschaftskrise geschüttelten Weimarer Republik; die alternde Diva Fritzi 
Massary wiederum gibt uns Einblick in die Gefühlswelt eines Weltstars und 
lässt uns an ihren Selbstzweifeln nach harschen Zeitungskritiken teilhaben. 
Dies gibt den Nutzer:innen die Möglichkeit, im wahrsten Sinne des Wortes 
selbst eine Haltung einzunehmen und das Gebäude in seinem gesellschaft- 
lichen Kontext aus einem eigenen Blickwinkel zu betrachten. 


Br /) Mn 


"ul 


Abb. 6.2 Wegeführung der drei Protagonist:innen Otto Kempowski, Walter 
Schatz und Fritzi Massary im VR-Projekt Ein Abend im Großen 
Schauspielhaus - Berlin 1927. 


Den gleichen Ansatz, ein bestimmtes Motiv aus unterschiedlichen Positionen 
und durch verschiedene Charaktere zu beleuchten, nutzt das VR-Erlebnis 
Eine Stadt — Zwei Welten der Firma Timeride Berlin.? Nach einer einführenden 
Ausstellung, in der das Thema der geteilten Stadt vorgestellt wird, betreten 


9 https://timeride.de/berlin [27.01.2022]. 


HYBRIDE REALITÄTEN 89 


die Besucher:innen einen kinoähnlichen Raum, in dem sich drei sehr unter- 
schiedliche, fiktive Persönlichkeiten in einem Trailer vorstellen und zu einer 
Stadtrundfahrt durch das geteilte Berlin der 1980er Jahre einladen: der auf- 
miipfige Handwerker, die reflektierende Architektin oder der unangepasste 
Grenzgänger aus dem Westen. Die virtuelle Inszenierung findet dann tatsäch- 
lich als gemeinsame ‚VR-Busreise‘ durch Ost- und West-Berlin statt: Visuell für 
alle gleich, wird die zehnminütige Fahrt jedoch durch die unterschiedlichen 
Audiospuren der gewählten Protagonist:innen aus verschiedenen Perspekti- 
ven kommentiert und kontextualisiert. Diese Vermittlungsstrategie führt zu 
einem aktivierten Publikum, das durch das gemeinsame zeitlich-räumliche 
Erleben der Storylines zur Reflexion der unterschiedlichen Betrachtungs- 
weisen angeregt wird. Durch die Mehrstimmigkeit der Erzählung ergibt sich 
ein multiperspektivischer Blick auf Stadtgeschichte, einzelne Gebäude oder 
Schicksale und es entsteht ein lebendiges, plurales Bild, dass durch die drei 
individuellen Geschichten emotionalisiert wird. 

Eine emotionale Aufladung zeigt sich ebenso im virtuellen Großen Schau- 
spielhaus: auch wenn hier primär die Protagonist:innen Otto, Walter und Fritzi 
zu Wort kommen, ist der eigentliche Hauptdarsteller das Gebäude selbst. 
Durch die Stimmen der drei Figuren bringen wir es zum Sprechen und machen 
es zum heimlichen ‚Helden‘ der Geschichte. So wird die einzigartige Archi- 
tektur von Hans Poelzig zu einem Wissensraum, der durch die räumliche Kon- 
textualisierung der individuellen Geschichten erweitert wird. Zudem lenkt die 
gezielte sprachliche Hervorhebung von architektonischen Elementen, räum- 
lichen Situationen und Objekten den Blick der VR-Nutzer:innen und schafft 
weitere Erkenntnisangebote. 

Das Große Schauspielhaus ist ein Raum, den wir heute nur noch von 
Fotografien kennen. Unser Bildgedächtnis ist dabei auf einzelne, spezi- 
fische architektonische Motive und Raumsituationen beschränkt, die ohne 
Zusammenhang ein stark reduziertes Bild des Theatergebäudes erzeugen; aus 
diesen singulären und statischen Positionen erschließen sich die komplexen 
Raumzusammenhänge nicht. Um ein Verständnis für einen Raumkörper in sei- 
ner Dreidimensionalität zu entwickeln, bedarf es einer Bewegung und somit 
einer Veränderung in der Beziehung zwischen Objekt und betrachtender Per- 
son. Diese Bewegung ist im virtuellen Raum unabdingbar notwendig, denn erst 
durch diese Dynamik entwickelt sich das Bild vom Raum zu einem wirkungs- 
starken Bildraum. In der VR-Experience werden die virtuellen Theaterbesu- 
cher:innen wie auf Schienen durch das Große Schauspielhaus bewegt: Die 
Bewegungsrichtung wird vorgegeben, aber es gibt keine forcierten Kamera- 
schwenks oder Zooms - die Besucher:innen können den Blick frei wandern 
lassen. Protagonist Walter Schatz fordert sie auf: 
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Schauen Sie mal hoch! Diese riesigen Säulen, die von der Decke hingen - wie in 
einer Tropfsteinhöhle! [...] Für das Jahr 1927 war das ganz schön gewagt, finden 
Sie nicht auch? Und wenn ich mich recht entsinne, waren da Lichter in der Kup- 
pel, mit denen echte Sternenbilder gezeigt wurden. 


Getragen wird diese linear-erzählerische Methode der gelenkten Betrachtung 
vor allem durch szenografische Gestaltungsmittel (Abb. 6.3). Eine filmische 
Lichtsetzung, die über ein technisches Ausleuchten hinausgeht, betont archi- 
tektonisch signifikante Bereiche und lenkt den Blick der User:innen. Ein räum- 
lich-immersives Sounddesign gibt ein Gefühl für die Dimension, Materialität 
und Atmosphäre der unterschiedlichen Räumlichkeiten. Von Zeit zu Zeit 
werden Situationen durch einen künstlichen Nebel verdichtet und auf das 
umgebende Blickfeld konzentriert, mal lichtet sich der Nebel und eröffnet neue 
Sichtweiten. Die visuelle Rekonstruktion der Architektur versucht sich nicht 
an einer naturalistischen Nachbildung der Original-Materialitäten. Gebäude 
und Objekte sind stattdessen mit einer papierhaft anmutenden Oberfläche 
texturiert und schaffen damit Assoziationen zu Poelzigs handgezeichneten 
Entwurfsskizzen. Diesem skizzenhaften Stil folgend, sind die Protagonist:in- 
nen und Nebendarsteller:innen als zweidimensionale ‚Aufsteller‘ gezeichnet 
und erinnern durch eine schnelle und konturierte Federführung an Buch- 
illustrationen aus den 1920er Jahren. Die visuelle Nähe zu Graphic Novels kor- 
respondiert mit dem Einsatz weiterer comichafter Stilmittel. So erscheinen 
geschriebene Kommentare von Kritikern im Garderobenspiegel, schweben 
Pressestimmen als überdimensionale Texte im Bühnenraum und fliegen die 
Besucher:innen am Ende schwerelos durch den applauserfüllten Zuschauer- 
saal. Dabei durchbrechen die gestalterischen Freiheiten nicht die inhärente 
Logik der Erzählung, sondern führen zu einer besonderen Atmosphäre und 
fördern das Eintauchen in die Geschichte. 

Der Vorgang des Eintauchens — unter dem Begriff der Immersion sub- 
sumiert — ist eines der Hauptcharakteristika von Virtual Reality und beinhaltet 
besondere Potenziale. In ihrem Buch Patterns in Game Design? beschreiben 
Staffan Björk und Jussi Holopainen vier unterschiedliche Formen der Immer- 
sion: räumliche, emotionale, kognitive und sensorisch-motorische Immersion. 
Räumliche Immersion entsteht durch die visuelle Qualität des Erlebnisses 
und bestimmt die Bereitschaft der Rezipient:innen, die Künstlichkeit der vir- 
tuellen Welt als natürlich zu akzeptieren. Emotionale Immersion wird mög- 
lich, wenn ein erzählerischer Inhalt zu gefühlsmäßiger Erregung und dadurch 


10 Björk und Holopainen, Patterns In Game Design, S. 206. 
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Abb. 6.3 Protagonist Walter Schatz im Zuschauersaal des Virtuellen Großen 
Schauspielhauses. 


zur ‚Absorption‘ durch die Geschichte führt!! - sie ähnelt damit der Wirkung 
einer spannenden Lektüre oder eines packenden Theaterstücks. Kognitive 
Immersion basiert auf konzentriertem abstraktem und kreativem Denken und 
wird in der Regel durch das Lösen komplexer oder gestalterischer Aufgaben- 
stellungen erreicht. Sensorisch-motorische Immersion ist das Ergebnis von 
Rückkopplungsschleifen zwischen den körperlichen Aktionen der Nutzer:in- 
nen und ihren Auswirkungen auf das (Spiel-)Geschehen, wobei sich die Wahr- 
nehmung der eigenen körperlichen Existenz von der physischen Umgebung in 
die simulierte Umgebung verlagern kann. Im VR-Projekt Ein Abend im Großen 
Schauspielhaus kombinieren wir mit der Nutzung erzählerischer und szeno- 
grafischer Mittel zwei Methoden zur Erzeugung von Präsenz, die seit jeher aus 
dem Theater bekannt sind: Packende Narrative erzeugen emotionale Immer- 
sion, während eine stimmungsvolle und konsistente szenografische Gestaltung 
zur räumlichen Immersion beiträgt. Um einen plausiblen, d.h. einen ‚glaub- 
haften‘ Imaginationsraum zu erschaffen, ist eine realistische Raumdarstellung 
nicht zwingend erforderlich. Ein Gefühl der Präsenz und der Immersion kann 


11 Zhang etal., „Spatial Immersion versus Emotional Immersion, Which is More Immersive?“. 
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in einem virtuellen Bühnenraum gleichermaßen mit einem hohen Grad an 
visueller und akustischer Ausformulierung erzeugt werden oder, wie wir im 
dritten Abschnitt zeigen, schon mit minimalen und abstrakten Gestaltungs- 
mitteln erreicht werden. Die szenografische Gestaltung, die Erzählweise und 
die Vermittlungsstrategie werden bestimmt durch unterschiedliche Faktoren: 
das Zielpublikum, die vorhandene Wissens- und Datengrundlage, die histo- 
rische oder kulturelle Relevanz und Charakteristik des Sujets, aber auch die 
eigene künstlerisch-gestalterische Haltung. Kurz gefasst: Das „Wie“ ergibt sich 
aus der Fragestellung, die jeder Gestaltung zugrunde liegt: Wem wollen wir 
was warum erzählen? 


Vom rezipierenden Publikum zu agierenden Akteur:innen 


Nimmt man die Gestaltungsmöglichkeiten für eine VR-Produktion in den 
Blick, hilft es daher, zunächst die Aufmerksamkeit auf das Zielpublikum zu 
lenken: Wie verhält es sich, ob allein oder in Gemeinschaft, gegenüber unter- 
schiedlichen Kontexten, Medien und Formaten (etwa Museum, Kino, bildende 
Kunst, Theater oder Videospiel)? Welche Einfluss- und Interaktionsmöglich- 
keiten werden ihm zugestanden? Im Museums- und Ausstellungskontext sind 
wir es gewohnt, selbstbestimmt einen Weg zu wählen und ein Themenfeld 
unserem Interesse folgend zu explorieren. Interaktion mit Medien und Expo- 
naten ist gang und gäbe, Partizipation ist zum vermeintlichen Erfolgsrezept 
geworden. Zum puren Konsumenten wiederum wird das Publikum im Kino: 
Interaktion findet (wenn überhaupt) nur zwischen den Zuschauer:innen 
statt, das Geschehen auf der Leinwand kann in keiner Weise beeinflusst wer- 
den. Beim konventionellen Konzert- und Theaterpublikum ist Interaktion in 
Form von spontanen Beifalls- oder Abneigungsbekundungen möglich, aber 
auch hier ist eine Einflussnahme auf den Verlauf des Bühnengeschehens 
nicht üblich. Auf (und jenseits) der Bühne gibt es allerdings seit Längerem 
experimentelle Spielweisen, die das Publikum in unterschiedlichem Maße 
involvieren. Die Zuschauer:innen werden „aktiviert“,!2 können — oder müs- 
sen sogar — am Geschehen teilnehmen und sind in der Lage, den Verlauf der 
Handlung zu beeinflussen. So bedient sich die Theatergruppe Rimini Proto- 
koll der Methoden aus dem Game Design, um die „Theater-Nutzer:innen“ mit 
der Inszenierung interagieren zu lassen (siehe ihre Arbeit Situation Rooms”). 
Manch eine Produktion kommt sogar ganz ohne Schauspieler:innen aus und 


12 Siehe dazu Siegmund „Das Problem der Partizipation“. 
13 https://www.rimini-protokoll.de/website/de/project/situation-rooms [27.01.2022]. 
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macht das Publikum zum Hauptdarsteller (100% Stadt!*). Bei Videospielen 
ist die Beteiligung und Einflussnahme durch die Gamer unabdingbar: Hier ist 
die Interaktion zwischen Medium und Publikum integraler Bestandteil des 
Formats und steht in engem Zusammenhang mit dem Phänomen der (User) 
Agency. In der zeitgenössischen Kunst sind seit den 1960er und 70er Jahren 
vielfältige Strategien von Publikumspartizipation zu beobachten. Dabei be- 
rücksichtigen die Künstler:innen die Öffentlichkeit nicht nur, sondern planen 
deren Teilhabe von Anfang an ein und machen sie zur künstlerischen Praxis 
selbst. Die Rezipient:innen gestalten letztlich durch ihre Partizipation das 
Kunstwerk, die Performance oder das Stück mit.5 Bei der Konzeption von 
digitalen Erlebnissen in Virtual Reality gehören all diese Formen von Teilhabe 
oder Partizipation zum Repertoire. Durch die Vermischung realer Räume mit 
virtuellen Welten sowie das Aufeinandertreffen menschlicher Akteure mit 
KI-gesteuerten NPCs!® entstehen neue, unerschöpfliche Interaktionsmöglich- 
keiten und Gestaltungsspielräume. 

Die bisher beleuchteten Projektbeispiele schöpfen in ihren Vermittlungs- 
szenarien diesen erweiterten Möglichkeitsraum nicht aus: Das Publikum hat 
kaum Einfluss auf den Fortgang der Geschichten, kann sich allenfalls frei bewe- 
gen und Inhalte abrufen. Diese Form der monodirektionalen Kommunikation — 
eine klassische Sender-Empfänger-Konstellation - ist in Bezug auf eine Reihe 
von Aspekten sinnvoll und in bestimmten Aufführungskontexten erstrebens- 
wert. So führen die präzise Kontrolle über den dramaturgischen Ablauf, der 
gelenkte Betrachterblick und die Rahmung des Sichtfeldes zu einer klaren 
künstlerischen Setzung und hohen Erlebnisqualität. Der reduzierte Einsatz 
von Interaktion und Bewegungsfreiheit ermöglicht zum Beispiel das Weglassen 
externer Eingabegeräte und somit einen wartungsfreundlichen technischen 
Aufbau. Aus Sicht des Publikums bedeutet dies vor allem eine vereinfachte 
Bedienbarkeit und leichtere Zugänglichkeit, da keine komplexen Controller- 
Belegungen gelernt und Interfaces bedient werden müssen. Jedoch steigern 
Formen der aktiven Beteiligung des Publikums den Grad der Immersion und 
die Intensität des Erlebnisses, was eine stärkere Identifikation mit den Figu- 
ren und ihrer Rolle in der Geschichte zur Folge hat. Die Zuschauer:innen zu 
aktivieren, bedeutet auch, sie als Zuschauer:innen ‚abzuschaffen‘ und sie als 


14  https://www.rimini-protokoll.de/website/de/project/100-prozent-berlin [27.01.2022]. 

15 Siehe dazu Lobos Hinojosa und Rosengarth, „Partizipative Künste“. 

16 Der NPC (engl. non-player character) bezeichnet die Figuren in einem Spiel, die nicht 
durch menschliche Spieler:innen gesteuert werden. Der Begriff umfasst Akteur:innen der 
Handlung ebenso wie Statist:innen. 
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Handelnde zu etablieren - sie also von einem rezipierenden Publikum zu agie- 
renden Akteur:innen werden zu lassen. 

Eine einfache Form der Einflussnahme von Rezipierenden auf die Hand- 
lung eines vorproduzierten Werks hat ihren Ursprung in den Spielbiichern 
der 1970er und 8oer Jahre: die Leser:innen haben am Ende eines Buch- 
kapitels verschiedene Wahlmöglichkeiten zum Fortgang der Handlung. Je 
nach getroffener Entscheidung wird die Geschichte an einer anderen Stelle 
des Buches fortgeführt und so entsteht eine Reihe unterschiedlicher — aber 
in der Zahl begrenzter und vordefinierter - Handlungsstränge. Diese Form 
der Einflussnahme findet sich in vielen Videospielen und interaktiven Fil- 
men wieder. Die Sonderfolge Bandersnatch der Serie Black Mirror ist dabei 
ein hervorzuhebendes Beispiel, weil die Storytelling-Methode hier nicht nur 
zum Einsatz kommt, sondern selbst als vorgespielte Entscheidungsfreiheit‘ 
zum Thema gemacht wird. Auch am Theater werden die Möglichkeiten dieser 
Erzählmethode ausgelotet: In der ersten Folge der dreiteiligen Mixed-Reality- 
Serie Solo!” setzen der Autor Sebastian Klauke und das Staatstheater Augs- 
burg diesen Spielmechanismus ein und lassen die Zuschauer:innen zu aktiv 
Ermittelnden in einer VR-Welt werden. Der oder die VR-Zuschauer:in löst 
einen interaktiven Kriminalfall; den Verlauf der ca. 45-minütigen Handlung 
steuern die Zuschauer:innen durch Entscheidungen in der Ermittlung und bei 
den Verhören von Zeugen und Tatverdächtigen. 

Mit einer Variation dieser Erzählweise experimentiert das Theaterkollektiv 
Makropol in der Inszenierung A Taste of Hunger.!® In diesem VR-Erlebnis — 
von Regisseur Christoffer Boe als „in Quantenphysik getränkte Erzählung“ 
bezeichnet!? - wirken Raum und Zeit verzerrt. Durch das aktive Beobachten 
wird man zur Gestalter:in eines individualisierten Erlebnisses, denn mit jedem 
Schritt, den die Betrachter:in macht, verändern sich die Umgebung, die Szene 
und die Figuren. Der Raum wird hier als Interface benutzt: Durch die Bewe- 
gung der aktiven Betrachter:innen werden volumetrische Video-Sequenzen”° 
ausgelöst. Dieser einfache Interaktionsmechanismus ermöglicht ein komple- 
xes Erlebnis und entfaltet eine starke erzählerische und räumliche Wirkung. 

Einen ähnlichen Modus der körperlichen Einflussnahme - erweitert durch 
eine reagierende künstliche Intelligenz — nutzt die VR-Experience Das Totale 


17 https://staatstheater-augsburg.de/solo [27.01.2022]. 

18 _ https://makropol.dk [27.01.2022]. 

19 _ https://www.labiennale.org/en/cinema/2020/venice-vr-expanded/smagen-af-sult-taste- 
hunger [27.01.2022]. 

20 _ Volumetrisches Video ist eine Technik, bei der mehrere Kameras eingesetzt werden, um 
einen dreidimensionalen Raum oder eine Aufführung zu erfassen. 
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Tanz Theater der Interactive Media Foundation.?! Inspiriert von den Bühnenex- 
perimenten Oskar Schlemmers und Walter Gropius‘ Ideen zum Totaltheater 
wird die Frage gestellt: , Wer übt Einfluss aus und wer kontrolliert wen?“ In der 
interaktiven Inszenierung tauchen die Besucher:innen über VR-Brillen in einen 
virtuellen Bühnenraum ein und erleben einen durch die eigene Bewegung in 
Echtzeit beeinflussten Tanz. Der Choreograph Richard Siegal hat für die digi- 
talen Tanzroboter ein Instrumentarium an Bewegungsabläufen entwickelt, 
die von einer durch ihn trainierten künstlichen Intelligenz immer wieder neu 
kombiniert und zusammengesetzt werden. Aus dem Ineinandergreifen von 
menschengemachter Choreographie, persönlicher Intervention sowie maschi- 
nellem Algorithmus ergeben sich immer neue Formen der Bewegung und des 
Tanzes im Raum. Gemeinsam mit der aktivierten ‚Tanzmaschine‘ gilt es, eine 
Choreographie zu durchlaufen, begleitet von der Frage nach den wirklichen 
Einflussmöglichkeiten auf den umgebenden Raum und auf den Algorithmus. 
Eine Stufe weiter geht The Under Presents?? von Tender Claws, das Vir- 
tual Reality, Gaming und Theater auf unkonventionelle Weise verbindet. Die 
Geschichte ist zwischen zwei Welten angesiedelt: eine surrealistische Bar mit 
einer Variete-Bühne und ein gekentertes Schiff (dem titelgebenden ,Under‘). 
Hier verfolgt man die miteinander verketteten Schicksale der Charaktere, es 
gibt Erkundungen, Rätsel und erzählerische Elemente. Die mysteriöse Uber- 
lebensgeschichte spielt in einer Zeitanomalie — als Spieler:in kann man die Zeit 
vor- und zurückdrehen und so das Schicksal der Figuren beeinflussen -, nichts 
in diesem Spiel folgt einer vorhersehbaren Handlung. Die Spielemechanik 
funktioniert sowohl im Einzelspieler- als auch im Mehrspieler-Modus. Das 
Besondere aber ist, dass (zu bestimmten Zeiten) echte Schauspieler:innen live 
in die Handlung eingreifen. Die Mitglieder des New Yorker Ensembles Pie Hole 
entwickelten dafiir eigene VR-Showeinlagen, die auf der Varietébiihne zur 
Aufführung kommen.?? Sie treten aber auch spontan mit den User:innen in 
Interaktion und verführen sie zu einem bestimmten Verhalten innerhalb der 
Geschichte. Durch die Verschachtelung von Einzel-, Multi- und Live-Elementen 


21 _ https://www.dastotaletanztheater.com [27.01.2022]. Das Projekt entstand unter Feder- 
führung der Interactive Media Foundation, choreografiert von Richard Siegal, Musik der 
Einstürzenden Neubauten, aus Anlass des 100-jahrigen Bauhausjubiläums im Jahr 2019. 
Für die Gestaltung der Szenografie und Kostüme sowie die technische Umsetzung sorg- 
ten die Expert:innen von Artifical Rome. Die Dramaturgie wird von der elektronischen 
Musik des Komponisten Lorenzo Bianchi Hoesch getragen. 

22 _ https://tenderclaws.com/theunderpresents [27.01.2022]. The Under Presents wurde im 
Frühjahr 2019 auf Oculus Quest und im April 2020 auf Steam veröffentlicht. 

23 http://www.pieholed.com/the-under-presents.html [27.01.2022]. Die Schauspieler:innen 
waren auch fiir das Casting, Motion Capture und die Sprachaufnahmen der NPCs (Nicht- 
Spieler-Charaktere) des Spiels verantwortlich. 
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ergibt sich ein individualisiertes Erlebnis mit großer Entscheidungsfreiheit 
fär die Nutzer:innen. 

Unter dem Aspekt des gemeinsamen Erlebens und des größtmöglichen 
Handlungsspielraums lohnt sich ein Blick in Richtung kollaborativer Gestal- 
tungsprogramme. Basierend auf dem Quellcode des von Google entwickelten 
VR-Malprogramms Tilt Brush?* ermöglicht das Zeichenprogramm Multibrush?? 
das gemeinsame Arbeiten in einem virtuellen Raum. Da die Verbindung über 
das Internet zustande kommt, können sich mehrere Nutzer:innen mit ihren 
VR-Brillen einloggen, von verschiedenen Orten aus gleichzeitig teilnehmen 
und somit gemeinsam ihrer Kreativität freien Lauf lassen. Innerhalb einer 
geteilten virtuellen Umgebung werden dreidimensionale Grafiken und Skulp- 
turen in den Raum gezeichnet. Da es durch das Programm keine Aufgaben und 
Vorgaben gibt, sind die Ergebnisse offen und werden unter den Akteur:innen 
gemeinsam demokratisch (und teils chaotisch) miteinander verhandelt. Es 
ereignet sich ein kokreativer Prozess ohne äußere Vorgaben oder Strukturen, 
der aus der Gemeinschaft ein ‚künstlerisches‘ Werk entstehen lässt. Aus der 
Betrachtung dieser Projektbeispiele ergeben sich Fragen nach der Gestaltungs- 
hoheit und Autorenschaft von künstlerischen Prozessen, nach Potenzialen 
und Grenzen von kokreativen Arbeitsweisen. Wie kann dieses Potenzial des 
aktivierten Publikums und des kokreativen Wirkens genutzt werden, um ein 
künstlerisches Erlebnis zu schaffen? 


Kokreative Begegnungen in hybrid-realen Bühnenräumen 


Wenn das Publikum durch den Einsatz partizipativer Strategien in eine künst- 
lerische Performance eingebunden wird, findet die suggerierte Kooperation 
auf Augenhöhe oft bloß oberflächlich statt. Die Teilhabenden bekommen 
nur eingeschränkte Handlungsmacht und sind meist ohne Autorenschaft am 
vermeintlich kollektiven Schaffensprozess beteiligt. Als Erweiterung partizi- 
pativer Verfahren spielen kokreative Prozesse — nicht nur im künstlerischen 
Bereich — zunehmend eine wichtige Rolle. Sie haben zum Ziel Werke zu schaf- 
fen, in denen alle Akteur:innen direkt in den kreativen Prozess eingebunden 
sind und gleichzeitig als Rezipienten, Mitautor:innen und Herausgeber:innen 
der Arbeit agieren. Kokreation beschreibt also die Methode und das Ergeb- 
nis eines gemeinsamen gestalterischen Prozesses durch heterogene Personen- 
oder Statusgruppen. Diese Art von Kunstprozessen verteilt die Autorenschaft 


24  https://wwwtiltbrush.com [27.01.2022]. 
25 https://www.oculus.com/experiences/quest/3438333449611263 [27.01.2022]. 
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auf Känstler:innen und Publikum, führt zu einer Art Enthierarchisierung und 
erweitert die Rezipientenrolle im ‚Künstler-Kunstwerk-Betrachter-Komplex‘. 

In unserem Forschungsprojekt Im/material Theatre Spaces untersuchen 
wir Kokreation in der Auseinandersetzung mit immersiven Technologien 
und im Kontext hybrid-realer Räume. Dabei ist das Kokreative sowohl Unter- 
suchungsgegenstand, Arbeitsweise und Ziel zugleich. In der Zusammenarbeit 
mit Studierenden verschiedener Hochschulen? und mit Künstlerinnen 
und Musiker:innen haben wir in prototypischen Experimentalanordnungen 
unterschiedliche Ansätze für den Einsatz von VR in kokreativen Szenarien 
entwickelt und erprobt. Dabei stand — neben dem Ausloten der technischen 
Grenzen und Möglichkeiten — vor allem die Frage im Zentrum, wie die kol- 
lektive Kreativität und die neu gewonnenen Freiräume und Handlungsspiel- 
räume genutzt werden können, um ein gemeinsames Werk mit künstlerischer 
Aussagekraft hervorzubringen. 

Die in den Experimenten erlangten Erkenntnisse haben wir in dem VR- 
Projekt Spatial Encounters?” umgesetzt: Dieser hybrid-reale Begegnungsraum 
erforscht Dialogprozesse zwischen Musik, Mensch und Raum an der Schnitt- 
stelle von analogen und digitalen Welten. Anlass für dieses Projekt ist unsere 
Suche nach bidirektionalen Dialogformen zwischen akustischen und visuel- 
len Räumen. In diesem transformativen Übergangsbereich wollen wir die Auf- 
merksamkeit der Beteiligten zum einen auf den Moment des „Musik machens‘, 
zum anderen auf das gemeinsame Kreieren lenken. Damit verbunden ist eine 
Einladung zum „Anders hören“. Eine oder mehrere Musiker:innen,2® ein Visual 
Jockey?? als „Master of Virtual Scenography“ und bis zu neun Besucher:innen 
begegnen sich dabei in einem gleichberechtigten Dialog. Unser ursprüng- 
liches Ziel, die Auflösung von klassischen Konzertkonventionen und frontalen 
Sender-Empfänger-Situationen, haben wir in diesem Setting räumlich einlösen 
können: Auf einer Freifläche von circa hundertfünfzig Quadratmetern taucht 
das Publikum mit mobilen VR-Brillen3° in eine virtuelle Szenerie ein, die in 


26 Unter anderem im Projekt Zwischenwelten mit dem Studiengang Kommunikationsdesign 
der HTW Berlin und mit dem Studiengang Bühnenbild_Szenischer Raum der TU Berlin. 

27 Spatial Encounters ist Teil des digital.DTHG Forschungsprojekts Im/material Theatre 
Spaces und wurde in einer ersten Fassung im Sommer 2021 im Rahmen des thüringischen 
Kammermusikfestivals im Kloster Volkenroda uraufgeführt. 

28 In der Uraufführung 2021 spielten der Geiger David Wedel, Konzertmeister des Gewand- 
hausorchesters Leipzig, und Lea Schorling aus dem digital DTHG Team als VJ. 

29 Als Visual Jockey (VJ) bezeichnet man Videokiinstler:innen im Kontext von Musikver- 
anstaltungen. Sie reagieren dabei auf eine Live-Audioperformance und erweitern sie um 
eine visuelle Komponente. 

30 Das Erlebnis läuft als browserbasierte WebXR-Anwendung auf kabellosen Meta Quest 2 
VR-Brillen. 
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Abb. 6.4 Der hybrid-reale Begegnungsraum Spatial Encounters bei der Uraufführung 2021 
auf dem Kammermusikfestival im Kloster Volkenroda. 


den darauffolgenden zwanzig Minuten gemeinsam bespielt, gestaltet und 
erlebt wird (Abb. 6.4).?! In diesen digitalen Landschaften bewegen sie sich frei 
und generieren durch ihre Begegnungen und räumlichen Beziehungen visu- 
elle Effekte und Skulpturen. Die so entstehenden immateriellen Raumkörper 
und virtuellen Szenerien werden live musikalisch interpretiert. Gleichzeitig 
geben die Musiker:innen ihrerseits stimulierende Impulse und Stimmungen in 
das performative Zusammenspiel. Durch diese vielfältigen Wechselwirkungen 
wird das gemeinsame Erlebnis im virtuellen Raum zum Katalysator für einen 
kokreativen Schöpfungsprozess — es entsteht ein ephemeres Kollektivkunst- 
werk und ein musikalisch-visueller Resonanzraum. Kokreative Prozesse sind 
gekennzeichnet durch größtmöglichen Handlungsspielraum für Spontanität 
und Unvorhergesehenes. Um dieses Potenzial entfalten zu können, braucht es 
eine hohe Flexibilität und Offenheit aller Beteiligten und klar ausformulierte 
Rahmenbedingungen, Spielregeln und Grenzen. Für Spatial Encounters haben 
wir daher ein vordefiniertes Framework konzipiert, das einerseits aus einem 


31 Seitens des Publikums sind keine Vorkenntnisse nötig, das Setting kann überall aufgebaut 
werden, wo genügend Platz zur Verfügung steht. Mehrere Sessions in Folge sind möglich. 
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das Visuelle bestimmenden, codebasierten Regelwerk besteht und anderer- 
seits aus einer die Prozesse moderierenden, dramaturgischen Struktur. 

Die dramaturgische Struktur von Spatial Encounters entspricht dabei 
einer bewährten Abfolge: Die eigentliche Performance liegt eingebettet zwi- 
schen einer anfänglichen Begrüßungsszene mit technischem Onboarding, 
freier Explorationsphase und einem abschließendem Offboarding. Innerhalb 
der Konzert-Performance entstehen im kollaborativen Zusammenspiel der 
Akteur:innen unterschiedliche spontane Erzähldramaturgien mit circa fünf 
bis sechs Szenen. Die Ausgestaltung wird allein durch die Akteur:innen - Pub- 
likum, Musiker:innen und VJ — bestimmt, jede Performance ist daher einmalig 
und entwickelt ihre ganz eigene Atmosphäre. 

Szenografisch-visuell arbeiten wir in zwei Realitäten: Einerseits sind das 
vorproduzierte virtuelle Szenerien und Landschaften aus einfachen Grund- 
elementen (Boden, Horizont und Himmel) in unterschiedlicher Dimension, 
Farbigkeit und Texturierung. Für unsere Uraufführung haben wir daraus 
eine Reihe monochromatischer Farbräume, futuristisch-technoider Cyber- 
spaces und naturalistischer Landschaften (zum Beispiel sanfte thüringische 
Rapsfelder und flirrend-heiße Wüstenflächen) zusammengestellt. Aus der 
Kombinierbarkeit von Szenen und Komponenten ergeben sich formal abs- 
trakte, aber atmosphärisch konkrete Stimmungen, die Deutungs- und Interpre- 
tationsspielraum lassen (Abb. 6.5). Andererseits fokussiert die Inszenierung 
des physischen Raums - als Spielfläche - die Aufmerksamkeit des Publikums 
und formuliert gleichzeitig einen Schutzraum: Je mehr räumliche ‚Geborgen- 
heit‘ für die performende Gruppe hergestellt werden kann, desto besser kön- 
nen sich die Beteiligten auf das Gemeinsame einlassen. Der Einsatz räumlicher 
Gestaltungsmittel wie einer inszenatorischen Lichtsetzung, Nebel, Boden- 
oberflächen (Teppich, Tanzboden etc.) und die visuelle Eingrenzung der Spiel- 
fläche bestimmen den Aufführungsort und somit das künstlerische Ereignis. 

Der hybrid-reale Bühnenraum von Spatial Encounters definiert sich durch 
die Synchronizität subtiler Ankerpunkte, wiedererkennbarer Raumkanten und 
Flächen, die in beiden Welten gleichermaßen auftauchen. Beide Räume - der 
physische und der parallel existierende virtuelle - beeinflussen sich in ihrer 
Verschränkung gegenseitig. Durch die kongruente Überlagerung entsteht ein 
dritter Raum: eine hybrid-reale Zwischenwelt als Übergangsraum. Dieser dritte 
Raum zeichnet sich durch besondere Qualitäten aus und setzt die Betrach- 
terinnen neuen Wahrnehmungsphänomenen aus.3? Dabei ist er deutlich 
vielschichtiger, komplexer und von mehr Variablen bestimmt als der physi- 
sche oder virtuelle Bühnenraum. Ein solch hybrid-realer Überbrückungsraum 


32 Vgl. Blumenkranz, Reale und virtuelle Räume, S. 32. 
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Abb. 6.5 Virtuelle Szene aus Spatial Encounters. 


ermöglicht die Kommunikation zwischen dem Realen und dem Virtuellen. Er 
fungiert als medialer Raum im urspriinglichen Wortsinn: als Mediator, als Ver- 
mittler. ,Die Verbindung des Realen und Virtuellen macht die Substanz des 
hybriden Raums aus. Dieser Raum [...] kann aber nicht autonom existieren, da 
kein eigenständiger Zusatzraum erzeugt wird.“33 In seiner flüchtigen Präsenz 
ist er unabdingbar mit der Koexistenz beider Realitäten verbunden. Die Natur 
dieser Zwischenwelt bestimmt sich aus dem Dominanzverhältnis von realem 
und virtuellem Raum und der Synchronität in Bezug auf Zeit und Ort: Stehen 
sich beide Realitäten gleichberechtigt gegenüber oder haben sie eine unter- 
schiedliche Gewichtung? Befinden sich alle Akteur:innen zur gleichen Zeit 
im Zwischenraum und wirken ihre Aktionen echtzeitlich oder zeitversetzt? 
Sind sie in ihrer räumlichen Position und Maßstäblichkeit deckungsgleich, 
divergierend oder gegensätzlich? Die Variabilität dieser Eigenschaften und die 
daraus entstehende Komplexität macht den besonderen Reiz immaterieller 
Zwischenräume aus. 

Die Wahrnehmung des Zwischenraums ist bestimmt durch den temporä- 
ren Zustand der Trennung von körperlicher Existenz im physischen Raum 
und geistiger Existenz in der virtuellen Umwelt. Durch diese Konvertierung 
der gewohnten Geist-Körper- zu einer neuen Geist-Avatar-Beziehung wird 
das Spannungsverhältnis zwischen materiellem und immateriellem Raum am 
eigenen Leib erfahrbar (Abb. 6.6). Der durch den dritten Raum vermittelte Dia- 
log zwischen den Realitäten tritt erst durch die (Inter-)aktionen der Akteur:in- 
nen in Erscheinung, der Raumdialog speist sich aus dem Zusammenspiel der 


33 Ebd, S.75. 
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Abb. 6.6 Akteur:innen, Avatare und raumbildende Skulpturen in Spatial Encounters. 


Real-Körper mit ihren digitalen Avataren: Um tatsächlich in der virtuellen 
Welt handlungsfähig zu sein, brauchen die Akteur:innen eine stellvertretende 
Entität, die ihre physischen Eigenschaften ins Virtuelle transformiert. Der digi- 
tale Körper ist das Interface, das es zu gestalten gilt: der avatarisierte Körper 
bestimmt unsere Beziehung zur virtuellen Umwelt.3? In Spatial Encounters 
werden die virtuellen Avatare als kegelförmige Stapelung von schwebenden 
Ringen verkörpert, deren abstrakte Formen an Oskar Schlemmers Kostüm- 
entwürfe zum Triadischen Ballett erinnern. Die farbigen Ringe definieren 
dabei nicht nur das visuelle Erscheinungsbild, sondern beschreiben gleich- 
zeitig auch einen Schutzbereich um die Körper der Nutzer:innen. Die kineti- 
sche Physis des Ring-Avatars hat eine leichte Verzögerung der Bewegung (wie 
ein wogendes Ballkleid) und animiert den oder die User:in zur spielerischen 
Erforschung der eigenen Handlungsfähigkeit: ein Wiegen des Körpers an Ort 
und Stelle, das Durchtanzen der Spielfläche, Luftsprünge, Hinhocken, Hinlegen 
bis hin zur Verschmelzung mit anderen Avataren. Diese körperlichen Aktio- 
nen lösen zusätzlich visuelle Effekte aus wie zum Beispiel Farbveränderungen, 
Perspektivwechsel oder Lichtexplosionen. Eine Performance-Teilnehmerin 
beschreibt ihr VR-Erlebnis so: 


34 Fetzer, „Mixed Reality Is Already There!“, S. 252f. 
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Ich war neugierig, den anderen Farbkegeln nahe zu kommen, sie zu berähren, 
mich mit ihnen im Tanz zu wiegen. Immer wieder waren wir durch Bänder in 
einer Dreiecksbeziehung miteinander verbunden. Rhythmisch aufsteigende 
Linien wurden zu Skulpturen, wie moderne Hochhausarchitekturen, die wir 
dann immer wieder in ihrer Form verändern konnten. In diese fliegenden 
Skulpturen sind wir dann hineingestiegen oder haben ihnen beim Davonfliegen 
hinterhergeschaut. 


Die so evozierten dynamischen Bewegungsmuster der Nutzer:innen werden 
in der Gruppe zu einem gemeinsamen Tanz und es entstehen spontane Cho- 
reographien. Unbewusst wird das gemeinsame Erkunden von Nähe und Dis- 
tanz zum bestimmenden Thema der Performances. Durch das mit diesen 
einfachen Mitteln geschaffene Gefiihl der Selbstverortung, des Körperbesitzes 
und der Handlungsfähigkeit?? entwickelt sich bei den Nutzer:innen ein „Sense 
of Embodiment“. Dies ist Voraussetzung fär das Gelingen von Immersion und 
Kopräsenz im hybrid-realen Raum. 

Nicht das dramaturgische Framework oder die vordefinierten inszenierten 
Räume bilden die künstlerische Arbeit. Vielmehr entfaltet sich das Werk durch 
das Zusammenspiel der tanzenden Akteur:innen und ihren immateriellen 
Bewegungs-Skulpturen, den virtuellen Umwelten und der improvisierten 
Live-Musik. So wird die Performance zu einem intersubjektiven Erlebnis 
zwischen den Teilnehmenden, das die Beziehungen untereinander ins Zen- 
trum des Kunstereignisses stellt. Als Ergebnis entsteht ein multimodales — 
ephemeres - Kollektivkunstwerk. 


Wechselseitige Betrachtungen 


Die hier vorgestellten Projekte und Themen lassen sich auch aus wechsel- 
seitiger Perspektive betrachten: Während im Virtuellen Großen Schauspiel- 
haus durch die individuellen, aber multiperspektivischen Erzählstränge die 
Komplexität des räumlich-sozialen Theatergefüges erlebbar gemacht wird, 
entstehen bei Spatial Encounters zwischen den emanzipierten Akteur:innen 
dialogisch verhandelte, spontane Erzählstränge — ohne programmatische 
Vorgabe. Hier wird die Qualität des Erlebnisses durch das kommunikative 
Zusammenspiel der Gruppe bestimmt. Das macht deutlich, wie ein freier Hand- 
lungsspielraum erst durch eine dramaturgische Rahmensetzung sein volles 
kokreatives Potenzial entfalten kann. Während wir im Großen Schauspielhaus 


35 Vgl. Kilteni et al., „The Sense of Embodiment in Virtual Reality in Presence“. 


HYBRIDE REALITÄTEN 103 


in einen letztendlich statischen Bildraum einer (rekonstruierten) Architektur 
eintauchen und mit der Geschichte durch das Gebäude bewegt werden, wird 
der Raum in Spatial Encounters erst durch die Bewegung der Besucher:innen 
konstruiert und zumindest fär den Moment des Erlebens konstituiert. In sei- 
ner Fliichtigkeit liegt seine Qualität, die zu einer hohen Identifikation mit dem 
Projekt fährt. 

Betrachten wir das Virtuelle Große Schauspielhaus unter dem Aspekt hybri- 
der Realitäten wird deutlich, dass das Eintauchen in den virtuellen Raum im 
Vordergrund steht. Dabei spielt auch der physische Raum und seine szenogra- 
fische Gestaltung eine entscheidende Rolle: der vorgesehene Installationsort 
ist das Foyer des Friedrichstadt-Palasts Berlin, in dem eine Ausstellung das 
Erlebnis für die Besucher:innen kontextualisiert und inhaltlich erweitert. Aus- 
gewählte Exponate finden sich sowohl analog als auch als digitale Zwillinge 
in der virtuellen Welt wieder. Die räumliche Inszenierung der VR-Station in 
Form einer abstrahierten Künstlergarderobe stimmt in das Thema ein und 
bietet zudem einen sicheren Schutzraum. Die Verschränkung des virtuellen 
Raums mit seiner materiellen Verankerung im Physischen führt dazu, dass die 
angestrebte Immersion überhaupt gelingen kann und sich die Zuschauer:in- 
nen auf das Erlebnis einlassen können. Dieses hochkomplexe Zusammenspiel 
zwischen neuartigen Erzählweisen, Methoden der Teilhabe und dem Schaf- 
fen von im/materiellen Erlebnisräumen - hier stehen sich VR und Theater in 
nichts nach - eröffnet weitreichende Möglichkeiten des künstlerischen Aus- 
drucks. In diesem Spannungsfeld kann Raum - vor allem als Büähnenraum - in 
seinen physischen und virtuellen Qualitäten erforscht werden. 
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Ein Experimentierraum fär VR 
Das VRlab des Deutschen Museums Miinchen 


Gespräch mit Alexander Schmidt 


Gespräch zwischen Alexander Schmidt, Kassandra Nakas und Philipp Reinfeld, 
gefiihrt per Videomeeting zwischen Berlin und Miinchen am 03.12.2021. 


Alexander Schmidt ist am Deutschen Museum München für die Koordination 
des VRlab verantwortlich. 


KKK 


Nakas: Herr Schmidt, Sie haben durch Ihr Studium an der LMU Miinchen einen 
beruflichen Hintergrund in der Medieninformatik, unter anderem mit einem 
Schwerpunkt hinsichtlich sozialer Interaktion in VR. Sie haben beschrieben, 
dass es Sie aufgrund dieser Kenntnisse und Erfahrungen besonders gereizt 
hat, im VRlab des Deutschen Museums die Themen Immersion, Präsenz und 
soziale Interaktion in VR weiterzuverfolgen. Könnten Sie kurz die Geschichte 
und Zielsetzung des VRlab im Deutschen Museum darlegen? 


Schmidt: Das VRlab im Deutschen Museum versteht sich, wie der Name schon 
sagt, als Labor, als Experimentierfläche. Als solches ist es relativ offen konzi- 
piert, offen fiir Kooperationen mit Forschung, Entwicklung, auch fiir kiinst- 
lerische Projekte mit VR und AR. Es wurde 2018 gegründet und gehört innerhalb 
des Museums zum Bereich Deutsches Museum Digital. Es ist Teil des durch 
die Beauftragte der Bundesregierung für Kultur und Medien geförderten Ver- 
bundprojekts museumgpunkto, dessen Ziel die verstärkte Zusammenarbeit 
verschiedener Kultureinrichtungen mit Blick auf digitale Prozesse ist. Insofern 
war das VRlab von Anfang an einerseits ein Angebot für Besucher:innen des 
Deutschen Museums, um Meilensteine der Technikgeschichte virtuell erleben 
zu können. Andererseits war es auch stets eine offene Entwicklungsplattform, 
auf der wir mit verschiedenen Betriebs- und Vermittlungsformaten experimen- 
tiert haben und unsere Erkenntnisse in nachnutzbaren Handreichungen für 
Museen zur Verfügung stellen. Zudem wurde ein 3D-Scan Labor eingerichtet, 
in dem wir mit Blick auf die umfangreichen und vielgestaltigen Sammlungs- 
bestände unterschiedliche Scan-Verfahren erprobt und daran geforscht haben, 
wie Digitalisate in Forschung und Vermittlung eingesetzt werden können. 
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Leitend ist dabei die Frage, wie wir die Digitalisierung nutzen können, um 
technik- und kulturhistorisch bedeutende Bestände mehr Menschen zugäng- 
lich zu machen. 


Nakas: Wie kann man sich das Angebot der VR-Erlebnisse im VRlab vorstellen 
und nach welchen Kriterien wurden die Objekte ausgesucht, die hier virtuell 
erfahrbar sind? 


Schmidt: Fiir die Wahl war die technikhistorische Bedeutung ausschlaggebend, 
aber auch Fragen danach, wie detailliert und visuell äberzeugend die 3D-Scans 
der Objekte erstellt werden kénnen, sowie nach dem Mehrwert der virtuel- 
len Repräsentation, wobei wir in der Umsetzung mit der Firma VR-Dynamix 
zusammengearbeitet haben. Die Wahl fiel schließlich innerhalb des Museums 
auf vier bedeutende Objekte aus dem Sammlungsbestand: Zunächst die Sulzer 
Dampfmaschine, die es uns erlaubt, die Funktionsweise der Maschine statt 
im Ausstellungsraum im realtitätsnahen Kontext einer Textilfabrik des neun- 
zehnten Jahrhunderts interaktiv zu veranschaulichen, beispielsweise durch 
einen Blick in den Dampfkessel im Betrieb. Eine weitere Station ist der Benz 
Patent-Motorwagen, das dreirädrige erste kommerzielle Automobil. Beim vir- 
tuellen Mitwirken in der Werkstatt von Karl Benz erhalten die Besucher:innen 
einen Eindruck, wie Kupplung, Bremse und Motor funktionieren. Außer- 
dem können sie Otto Lilienthal dabei zusehen, wie er Flugversuche mit sei- 
nem Gleiter unternimmt. Besonderes Highlight ist oftmals die virtuelle Tour 
auf dem Mond rund um das Lunar Roving Vehicle. Dabei können die Besu- 
cher:innen im Kontext der Apollo Mondmission entweder z.B. anhand von 
Golfabschlägen, wie damals Alan Shepard, die Mondgravitation spielerisch 
erkunden, oder aber sie drehen mit dem Fahrsimulator eine Runde um die 
Landefähre durch das Taurus-Littrow-Tal. All diese Erfahrungen werden mit- 
hilfe von VR-Technologie gemacht, und wir freuen uns besonders, dass sich 
im VRlab ein sehr vielfältiges Publikum dafür interessiert und das Angebot 
annimmt. 


Nakas: Sie haben die Diversität des Publikums als besonders willkommene 
Herausforderung für die Weiterentwicklung der Arbeit des VRlab genannt und 
erwähnt, dass es auch umfangreiche Evaluationsprozesse gibt. 


Schmidt: Die Weiterentwicklung von digitalen Angeboten und der Integration 
von VR-Technologie sowohl im Ausstellungs- als auch Vermittlungsbereich 
sind wichtige Aufgaben des VRlab. Unsere kontinuierlichen Evaluierungsmaß- 
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nahmen betreffen daher zum einen allgemeine Fragen zur Wahrnehmung der 
virtuellen Objekte und Umgebungen. Zum anderen möchten wir auch den 
Aspekt des Digital Storytelling weiterentwickeln, so dass die Rückmeldungen 
des Publikums ebenso auf inhaltlicher Ebene relevant sind. In den Evaluations- 
prozessen haben wir bisher mit unterschiedlichen, qualitativen und quantita- 
tiven Tools gearbeitet und unter anderem mit der Gruppe für Digital Marketing 
and Media Innovation der Universität der Bundeswehr kooperiert (eine Publi- 
kation dazu befindet sich im Review-Prozess). 


Reinfeld: Eine besondere Attraktion des Deutschen Museums sind die vielen 
historischen Dioramen in der Sammlung. In gewisser Weise können diese in 
ihrer Zielrichtung als Vorläufer des VR-Ansatzes verstanden werden. Auch hier 
wird versucht, ein Ausstellungsobjekt bzw. eine Technik aus der separierten 
Museumssituation zu befreien, um sein / ihr eigentliches Einsatzumfeld und 
den ursprünglichen räumlichen und funktionalen Kontext zeigen zu können. 
Diese szenische Einbettung ist hier zwar noch unter starker Einschränkung 
des Betrachtungsstandpunkts und häufig unter Anwendung von Skalierungs- 
faktoren repräsentiert, aber der Zusammenhang ist augenfällig. Sehen Sie das 
auch so? 


Schmidt: Sicherlich kann man das so sehen, die VR-Technologie ist aber doch 
immer auch ein Werkzeug, das für verschiedene Anwendungszwecke ein- 
gesetzt werden kann. Außerdem ist die angestrebte interaktive Einbindung 
der Nutzer:innen in VR ein wichtiger Unterschied, der für den Lerneffekt sehr 
förderlich ist. 


Reinfeld: Über die Webseite des Deutschen Museums ist es möglich, unter 
„virtualtour.deutsches-museum.de“ große Teile des Gebäudeinneren und der 
darin befindlichen Exponate dynamisch und dreidimensional zu erkunden 
(Abb. 7.1 und 7.2). Technisch scheint es sich um einen integrierten Ansatz 
zwischen foto- bzw. panoramabasierten Repräsentationen und einer 
3D-datenbasierten Punktwolke zu handeln. Können Sie erklären, warum Sie 
diese beiden Virtualisierungsmethoden integrativ verwenden und wie der 
Digitalisierungsprozess erfolgte (technisch sowie methodisch)? 


Schmidt: Das Projekt wurde zusammen von Georg Hohmann als Leiter des 
Teams Deutsches Museum Digital und Maximilian Reimann durchgeführt, 
so dass ich selbst es eher aus der Distanz mitbekommen habe. Es war eine 
Kooperation des Deutschen Museums mit der Münchner Firma NavVis. Unter 
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Abb. 71 und 7.2 Screenshots aus dem virtuellen Rundgang im Deutschen Museum unter 
https://virtualtour.deutsches-museum.de. 


anderem durch Einsatz des NavVis VLX, einer Art portablem Rucksack mit 
LiDAR-Sensoren und fortgeschrittenen SLAM-Algorithmen, wurde das Deut- 
sche Museum in kontinuierlicher Bewegung parallel dreidimensional mit 
Lasertechnik vermessen und gleichzeitig durch mehrere 360°-Kameras auf- 
genommen. Im Anschluss wurden die Daten am Computer zusammengefügt, 
um ein zentimetergenaues, virtuelles 3D-Modell des Deutschen Museums zu 
erstellen. Aus technischer Perspektive zeigt der Rundgang die Vorteile eines 
3D-Laserscans im Vergleich zu oft verwendeten 360°-Panoramabildern: Der 
„digitale Zwilling“ des Museums kann erweitert, aufgebrochen oder mani- 
puliert werden, um neue und innovative Angebote für digitale Museums- 
besucher zu schaffen. So wurde z.B. der LiDAR-Scan des Bergwerks bereits in 
ein 3D-Mesh umgewandelt und in Spiele-Engines weiterverwendet. 
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Reinfeld: Die Darstellungen bieten viele Freiheiten bei der Betrachtung und 
viele Eingriffsmöglichkeiten beim Modell, etwa was die Standpunkte bzw. Per- 
spektiven angeht, aber auch die Punktgröße, Farbgebung (analytische Farb- 
spektren oder wirkliche Farben) und ähnliches. Das erlaubt einen anderen, 
abstrakten Blick aufs Museum; war dieser Effekt bzw. waren die Freiheitsgrade 
für die Betrachter:innen / Nutzer:innen intendiert? 


Schmidt: Ja, diese Umsetzung hat sich hier sehr gut mit der Zielsetzung des 
Projekts Deutsches Museum Digital insgesamt getroffen. Dessen Grundidee ist 
durchaus, nicht nur Inhalte mit Technik zu zeigen, sondern auch diese Tech- 
nik im Hintergrund selbst verständlich und erlebbar zu machen. Insofern war 
das eine logische Fortführung unseres Konzepts. Bei VR heißt das dann natür- 
lich auch: wie funktioniert VR, woher kommt es, wohin entwickelt es sich? 
Hier interessieren uns neben der Geschichte auch die möglichen Zukünfte, die 
noch nicht ausgeschöpften Möglichkeiten der Technologie. Derzeit prüfen wir 
zudem verschiedene Ansätze, die virtuelle Tour in das VRlab zu integrieren 
und kooperieren dafür u.a. mit Thomas Mahnecke vom Gärtnerplatztheater 
zum Thema weiterer Möglichkeiten der Erlebbarkeit von virtueller Räumlich- 
keit, z.B. mit immersiven Projektionen. 


Nakas: Sie haben die vielfältigen Kooperationen, die Sie mit unterschiedlichen 
Partnern wie Universitäten und Studierenden, verschiedenen Firmen und 
auch Künstler:innen eingehen, bereits erwähnt. Könnten Sie hierzu noch ein 
paar Beispiele geben und auch etwas zur Zukunft des VRlab allgemein sagen? 


Schmidt: Ein künstlerisches Beispiel ist die preisgekrönte VR-Erfahrung 
Mind the Brain von Kathrin Brunner, Oliver Czeslik und dem Regisseur Fred 
Kelemen, die wir hier großflächig erfahrbar gemacht haben. Dabei konnten 
Besucher:innen erleben, wie in Echtzeit erfasste Gehirnwellen eine virtuelle, 
künstlerische Repräsentation des Gehirns beeinflussen, was auf sehr posi- 
tive Resonanz stieß. Auch außerhalb unserer Bestrebungen im Rahmen von 
museum4punkto wird viel Wert auf Kooperationsprojekte gelegt, zum Bespiel 
durch die Mitgestaltung der Nationalen Forschungsdateninfrastruktur im 
Konsortium 4Memory oder dem Projekt KultSam durch den Kollegen Johan- 
nes Sauter. Hier geht es unter anderem darum, Sammlungsobjekte zu digita- 
lisieren, zeit- sowie ortsungebunden verfügbar zu machen und langfristig zu 
speichern. Aktuell kann ich Gabriel von Münchow bei der vollständig haus- 
internen Entwicklung der App GREIFbAR unterstützen, die Chancen sowie 
Herausforderungen von Augmented Reality als Vermittlungswerkzeug für 
Kulturinstitutionen und Museen niedrigschwellig erfahrbar macht. 
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Mit Blick auf die Zukunft sind wir gerade in einer Phase der Veränderung: 
Im Zuge der Modernisierung des Deutschen Museums wird das VRlab im 
April 2022 voriibergehend geschlossen und zieht um. Als Bestandteil des 
Forums der Zukunft des Deutschen Museums wird das Konzept VRlab dann 
erweitert und noch 2022 wiedereröffnet. Wir werden dann beispielsweise ver- 
schiedenste aktuelle Digitalisierungsprojekte visualisieren, Testflächen für neue 
VR- / AR-Projekte anbieten können und Ideen im Bereich der Robotik ver- 
folgen. Zudem soll dort ein co-kreativer Raum entstehen, um die vielfältigen 
Kooperationen mit kleinen und mittleren Unternehmen, Kiinstler:innen und 
Universitäten weiter voranzutreiben. Darüber hinaus sind wir als Forschungs- 
museum auch Teil der Leibniz-Gemeinschaft und werden auch hier weiterhin 
an Vermittlungsprojekten - auch mit VR- / AR-Technologien — mitarbeiten. 


Nakas, Reinfeld: Das hört sich sehr vielversprechend an — wir wünschen Ihnen 
für die Wiederöffnung viel Erfolg und danken Ihnen für das Gespräch! 
Bildnachweise 


Abb. 7.1 und 7.2: Deutsches Museum Digital | NavVis GmbH. Einstellung und Bild- 
schirmfotos Philipp Reinfeld [05.07.2022]. 


Virtualizing Physical Space 


Gespräch mit Sebastian Marwecki 


Gespräch zwischen Sebastian Marwecki und Philipp Reinfeld, geführt per Video- 
meeting zwischen Berlin und Neapel am 29.11.2021. 


Sebastian Marwecki ist Spieleentwickler und hat am Human Computer Inter- 
action Lab des Hasso Plattner Instituts in Potsdam promoviert. Hier hat er ein 
System fiir Virtual Reality Anwendungen entwickelt, das darauf abzielt, physi- 
schen Raum zu virtualisieren, wodurch die Umsetzung von VR-Anwendungen 
nicht mehr auf freie Flächen angewiesen ist. In begrenzten räumlichen Umge- 
bungen werden Dinge wie Möbelstücke automatisiert zu haptisch erfahrbaren 
Entsprechungen von Elementen im virtuellen Spielerlebnis. Auch die zeit- 
gleiche Nutzung desselben Raums durch mehrere Nutzer:innen wird durch 
das System ermöglicht. 


aK 


Reinfeld: Herr Marwecki, der Titel Ihrer PhD-Arbeit „Virtualizing Physical 
Space“ klingt fiir jemanden wie mich, der sich seit mehreren Jahren mit der 
Frage beschäftigt, welche Potenziale die Verschränkung und Erweiterung des 
physischen Raums mit bzw. um virtuelle Anteile für die Architektur bereit- 
halten könnten, äußerst vielversprechend. In einer Zeit zunehmender Hybri- 
disierung von virtuellem und realem Raum würden wir gerne mehr erfahren 
über Ihre Ansätze einer systematischen Erweiterung von Orten und Objek- 
ten durch virtuelle Anteile. Zur Erläuterung des Prinzips der von Ihnen ent- 
wickelten Anwendungen erklären Sie die Systematik der Virtualisierung von 
Raum mit einer, wie ich finde, überraschenden Referenz, nämlich mit der Ein- 
führung der Virtualisierung von Speicherhardware in der Computertechnik zu 
Beginn der 1960er Jahre. 


Marwecki: Es macht oftmals Sinn in Analogien zu denken, wenn ein Problem 
in einer Varianz schon vorher gelöst worden ist. Vielleicht kann man Teile der 
Lösungsansätze kopieren und mehr oder weniger direkt anwenden. Für die 
hier angesprochene Analogie muss ich ein bisschen ausholen. Das Problem, 
das ich in Bezug auf die Nutzung von physischem Raum im Zusammenhang 
von Virtual Reality versuche zu beschreiben, besteht darin, dass wir gerade 
in den heutigen Anwendungen voraussetzen, dass physischer und virtueller 
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Raum zusammenpassen. Die natiirlichste und damit direkteste Art, virtuellen 
Raum zu erleben entsteht, wenn die Laufbewegung durch einen physischen 
Raum eins zu eins in den virtuellen Raum iibersetzt wird. Es gibt zwar auch 
viele andere Bewegungsmethoden, die nicht auf dieses Eins-zu-eins-Mapping 
bauen, sie funktionieren aber weniger gut. Das Problem liegt darin, dass oft 
nicht genug Platz vorhanden ist, um ein solches Eins-zu-eins-Mapping umzu- 
setzen. Circa siebzig Prozent der Menschen, die VR nutzen, haben privat kei- 
nen freien Raum von mehr als ein mal zwei Metern zur Verfügung, und nur 
unter ein Prozent haben Platz fiir den typischen vier mal vier Meter Tracking- 
bereich einer VR-Anlage. Der im Wohnumfeld zur Verfiigung stehende Raum 
fiir ein VR-Erlebnis im Eins-zu-eins-Mapping ist also oft schlicht zu klein. 
Man kann dieses Problem nun auf ein anderes, ähnliches Problem beziehen, 
das schon einmal zu Beginn der Computertechnik auftauchte und seinerzeit 
gelöst wurde: Bei den ersten lochkartenbetriebenen Computersystemen waren 
Soft- und Hardware direkt aufeinander abgestimmt. Die auf den Lochkarten 
gespeicherten Befehle waren maschinengebunden. Ein Programm konnte nur 
von einer einzigen speziellen Rechenmaschine gelesen und ausgefiihrt werden. 
Diese feste Bindung zwischen Hard- und Software, die mit dem Eins-zu-eins- 
Mapping zwischen physischem und virtuellem Raum verglichen werden kann, 
wurde mit den Betriebssystemen und mit Multiprogramming-Methoden etwa 
in den 1960er Jahren aufgelöst. Die folgenden, höherwertigen Programmier- 
sprachen wie C und Visual Basic wurden dann zunehmend abstrakter. Diese 
Form von Software-Abstraktion im Sinne einer Hardware-Virtualisierung 
versuchen wir nun auf dedizierten, also gewidmeten Raum, der zur Durch- 
führung einer VR-Anwendung zur Verfügung steht, zu übertragen. Wir wollen 
eine VR-Anwendung nicht nur für einen ganz spezifischen räumlichen Kon- 
text programmieren, der mit keiner anderen Raumkonfiguration kompatibel 
ist, sondern wir wollen die Anwendung so abstrakt formulieren, dass sie in 
unterschiedlichen räumlichen Umgebungen lauffähig ist. So können, äqui- 
valent zu einem Computer, bei dem mehrere Programme gleichzeitig auf den- 
selben Arbeitsspeicher zugreifen, mehrere Anwender:innen in VR parallel 
denselben physischen Raum nutzen. Das bringt auch ganz pragmatische Vor- 
teile, wie die Tatsache, dass man eine Applikation programmieren kann, die 
auch auf anderen Arten von Hardware überlebensfähig ist, was die Evolution 
von Anwendungen unheimlich beschleunigt. 


Reinfeld: Es ist also eine sprachliche Abstraktion als Zwischenebene notwen- 
dig, mit der zunächst eine Entfernung vom konkreten Raum einhergeht, um 
dann wiederum mehr räumliche Flexibilität zu erlangen - das ist sehr spannend. 
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Marwecki: Ja, das stimmt, das ist eine allgemein giiltige Methodik der Informa- 
tik: Abstraktionsebenen einführen, um Lösungsmethoden mehrfach anwend- 
bar zu machen. Im Vergleich mit der Architektur könnte man vielleicht 
Normen als ähnliche Art von Abstraktionen bezeichnen. Tären z.B. haben 
einheitliche Maße, was sie sehr viel flexibler und mehrfach einsetzbar macht. 
Bei digitalen Anwendungen ist der vergleichbare Vorteil, dass sie auf unter- 
schiedlicher Hardware ‚überleben‘ können, nicht nur auf einer einzigen, für 
die sie programmiert wurden. Wie Türen, die fast überall eingebaut werden 
können. Das bedeutet nicht automatisch, dass der Raum auch besser genutzt 
wird, aber die viele Arbeit, die etwa in die Programmierung eines VR-Spiels 
einfließt, kann hierdurch an vielen unterschiedlichen Orten angewandt wer- 
den. Also in Ihrem Wohnzimmer wie in meinem, in einer Küche oder sogar 
draußen im Park. Und das Erlebnis beschränkt sich nicht nur auf Augen und 
Ohren, sondern es ist physisch, mit dem ganzen Körper zu empfinden. 


Reinfeld: Bei bildschirmbasierten Computeranwendungen ist die Hardware der 
Mensch-Maschine-Schnittstelle sehr viel weniger variantenreich. Computer- 
spiele werden beispielsweise immer über Monitore vermittelt. Diese haben 
vielleicht unterschiedliche Auflösungen oder das Spiel soll zusätzlich auf 
unterschiedlichen Spielekonsolen lauffähig sein. Bei VR-Anwendungen aber, 
die mit haptischem Feedback in einem vorhandenen Raum durchgeführt wer- 
den, wird der Ort selbst zum zentralen Medium der Vermittlung. Und diese 
dreidimensionale Hardware-Schnittstelle ist eben sehr vielfältig, so sie nicht 
von einer leeren Fläche von mehreren Quadratmetern ausgeht. 


Marwecki: Physischer Raum ist zu variantenreich, um für jede denkbare Kon- 
stellation eine eigene Anwendungs-Emulation zu schreiben. Daher kommt 
der Kompromiss, dass heute verfügbare VR-Anwendungen meistens für die 
Durchführung in einem nur zwei Quadratmeter großen Leerraum konzipiert 
sind. Es wird davon ausgegangen, dass jede:r diesen Platz durch Wegrücken 
einiger Möbel auch im privaten Umfeld freiräumen kann. Das ist schade, weil 
dadurch die Anwendungen entsprechend eingeschränkt sind. Selbst wenn 
mit Hilfe adaptiver Programme z.B. eine real vorhandene Wand automatisch 
in die virtuelle Funktionalität einer Anwendung eingebunden wird, eröffnet 
das nicht die Möglichkeit einer komplexen erzählerischen Einbindung des 
Feedbacks des physischen Raums. Unser Anspruch ist es, das Erzählen kom- 
plexer Geschichten innerhalb von physischer Raumhardware mit viel Varianz 
zu ermöglichen. 
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Reinfeld: Und hierbei ist die wichtigste Interaktionsmöglichkeit das natärliche 
Gehen, das durch räumliche Limitationen besonders eingeschränkt ist? 


Marwecki: Genau, natürliches Gehen ist die beste Art der Bewegung im vir- 
tuellen Raum. Alle anderen Bewegungsmethoden machen entweder weniger 
Spaß oder werden als unnatürlicher empfunden und haben weitere Nach- 
teile. Es ist auch eine Ressourcenfrage. Entweder es ist viel freier Raum zur 
Bewegung vorhanden oder das Laufen wird mittels aufwendiger und kosten- 
intensiver Hardware wie Treadmills (Laufbänder) ermöglicht. Die Optionen 
auf der virtuellen Seite, wie Teleportation oder die bewusste Beschränkung 
der Bewegungsfreiheit im virtuellen Raum der Anwendung, verringern die 
Natürlichkeit des Erlebnisses. Limitierungen im physischen Raum stehen in 
direktem Zusammenhang mit der Ausdrucksstärke der Anwendung. Eine der 
beiden Seiten muss normalerweise nachgeben. Entweder wir passen den phy- 
sischen Raum auf die Anwendung an, wie beispielsweise bei den VR-Arcades 
The Void umgesetzt, oder wir machen die Anwendung selbst adaptiv. Wenn 
wir die Anwendung aber flexibler formulieren, was ihre möglichen Raum- 
anwendungen angeht, dann sind Abstriche in der Komplexität der Anwendung 
notwendig. 


Reinfeld: Das Problem der Ungleichheit zwischen physischem Bewegungs- 
raum und virtuellem Erlebnisraum ist ja nicht neu. Es wurden verschiedene 
Methoden entwickelt, um trotz vorhandener Limitationen des physischen 
Raums natürliches Gehen in VR zu ermöglichen. Dabei existieren Ansätze, 
die sich auf eine unmerkliche Manipulation des Verhältnisses zwischen realer 
und virtueller Gehbewegung beziehen, wie auch solche, bei denen der Raum 
selbst für den oder die VR-Nutzer:in unmerklich flexibel wird und in der Reali- 
tät unmögliche Zustände annimmt. Können Sie uns diese beiden Ansätze kurz 
erläutern? 


Marwecki: Hierunter fallen Interaktionstechniken, mit denen ein Eins-zu- 
eins-Mapping simuliert wird, ohne dass der Nachteil registriert wird, dass der 
hierfür notwendige Raum nicht verfügbar ist. Das funktioniert nur, wenn die 
Manipulation so gering ist, dass sie unterhalb der Wahrnehmungsebene bleibt. 
Wenn man im Realen einen Meter und im virtuellen einen Meter und zwanzig 
Zentimeter geht, dann wird das nicht bemerkt. Die damit ermöglichte Platz- 
ersparnis ist also nicht so groß, dass sie die Probleme lösen würde. Das gleiche 
gilt für Verfahren, bei denen die Richtungsorientierung zwischen realen und 
virtuellen Bewegungen manipuliert wird. Die Sensorik des Menschen ist bis 
zu einem gewissen Grad nicht darauf ausgelegt, diese leichten Abweichungen 
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zu registrieren, weil wir uns so stark visuell orientieren. Dennoch setzen diese 
Ansätze alle voraus, dass ein ziemlich großer leerer Raum vorhanden ist. Und 
genau das ist normalerweise im privaten Umfeld nicht gegeben. Es gibt auch 
Ansätze, bei denen virtuelle Räume unmerklich überlagert werden. Man nennt 
das „Impossible Spaces“. Zwei von einem Flur abgehende Räume können sich 
hier im realen Raum unmerklich überlagern, ohne dass es den Nutzer:inen 
auffällt (Abb. 8.1). Aber auch hierbei werden nur ein paar Quadratmeter aus 
dem Raum herausgeschummelt. Das grundsätzliche Raumproblem können sie 
nicht lösen. Diese ‚magischen Ansätze der Verwirrung‘, wie ich es nenne, sind 
nur Techniken, es sind keine systematischen Formen der Problemlösung. 


Abb. 8.1 
Zeichnerische Darstellung des == | FF 
Prinzips der VR Interaktionstechnik 
„Impossible Spaces“. | Po | 


Reinfeld: Hier setzen Ihre Entwicklungen an. Mit ihrem System soll es gelingen, 
reale Orte des privaten Umfelds fär verschiedene virtuelle Anwendungen zu 
nutzen, ohne dass dafiir besonders viel leerer Raum vorhanden sein muss. In 
der Anwendung Overloading Physical Space z.B. können mehrere Personen 
gleichzeitig einen Raum für ganz unterschiedliche Anwendungen in VR paral- 
lel nutzen (Abb. 8.2a—c). Lassen Sie uns aber über eine andere Anwendung spre- 
chen, in der das Missverhältnis zwischen einer räumlich weiten VR-Erfahrung 
und sehr spezifischen, mitunter begrenzten physischen Platzverhältnissen im 
privaten Anwendungsumfeld gelöst werden soll. 


Marwecki: Es handelt sich hierbei um Scenograph. Das System nutzt die Tech- 
nik von „Impossible Spaces“, also die unmerklichen Überlagerungen von 
Räumen und Welten. Ziel ist es, eine möglichst komplexe Geschichte in VR 
zu erzählen, die in sehr unterschiedlichen realen räumlichen Umgebungen 


ı Siehe Evan A. Suma, Zachary Lipps, Samantha Finkelstein u.a., „Impossible Spaces. Maximi- 
zing Natural Walking in Virtual Environments with Self Overlapping Architecture‘, in: IEEE 
Transactions on Visualization and Computer Graphics 18/4, 2012, S. 555-564. 
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stattfinden kann. Unsere prototypische Umsetzung basiert auf einem Mär- 
chen (Goldléckchen und die drei Bären). Die Geschichte spielt an unter- 
schiedlichen Orten: Ein Wald entspricht Welt A, der Wohnraum eines Hauses 
entspricht Welt B, das Schlafzimmer im Obergeschoss des Hauses entspricht 
Welt C. Zusätzlich gibt es verschiedene Gegenstände, die fär den Fortgang der 
Geschichte eine wichtige Rolle spielen. Zusammengenommen ergeben diese 
Gegenstände mit den ihnen zugeordneten Handlungen neun unterschied- 
liche Interaktionen. Hinzu kommen die Transitionen zwischen den Welten 
A bis C. Es ergibt sich eine logische Reihenfolge, nach der die Welt und die 
darin befindlichen Objekte zusammengehören. Aus diesen Zusammenhängen 
können komplexe Regeln abgeleitet werden, die sich zudem über die Zeit ver- 
ändern. Die Beschreibung der Zusammenhänge erfolgt in unserem Fall ganz 
klassisch in einer Art Zustandsmaschine (State Machine), mit der Progression 
beschrieben werden kann: ‚Wo befinde ich mich, welche Handlungsobjekte 
stehen zur Verfügung, und was darf ich hier mit ihnen tun?“ In der Program- 
mierung sind das logische Knoten und räumliche Knoten, die verbunden sind 
mit den vorkommenden virtuellen Objekten (Abb. 8.3). Das ist eine gängige 
Methode, wenn man derartig komplex zusammenhängende Geschichten pro- 
grammiert. In unserem Fall aber bezieht das System diese Logik zusätzlich 
auf den jeweils zur Verfügung stehenden physischen Raum, in dem das VR- 
Erlebnis angewendet wird. Man bezeichnet diese Form des Verweises zu rea- 
len Objekten im Raum als Spatial Computing. Ziel ist es, Softwareentwicklern 
die Möglichkeit zu geben, komplexe Anwendungen zunächst klassisch zu for- 
mulieren. Durch eine automatische Anpassung, die unser System leistet, lau- 
fen die Programme dann in unterschiedlichen physischen Umgebungen. 


Abb. 8.2a Still aus Projektvideo Overloading Physical Space. 
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Abb. 8.2b Zeichnerische Darstellung des physischen Trackingbereichs mit vier 
sich zeitgleich virtuell überlagernden Anwendungen. 


Abb. 8.2c _Perspektivische Darstellung der sich virtuell überlagernden 
Anwendungen. 
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Abb. 8.3 Petri-Netz Darstellung von Scenograph mit räum- 
lichen und logischen Knoten sowie Objekten, die 
Szenenwechsel auslésen um die Anwendung Gold- 
löckchen auf einen L-förmigen, acht Quadratmeter 
großen Raum abzubilden. Unter Beibehaltung der 
narrativen Struktur werden die drei Schauplätze der 
Geschichte in sechs kleinere aufgeteilt, die jeweils 
in das Trackingvolumen hineinpassen. Sebastian 
Marwecki, Patrick Baudisch, Hasso Plattner Institut 
Potsdam. 


ura s 


Reinfeld: Bedeutet dies, dass der Ablauf der Geschichte bei der automatischen 
Anpassung auch leicht verändert wird, je nach den räumlichen Vorausset- 
zungen? 


Marwecki: Ja, das wäre eine Möglichkeit. Aber auch ohne eine solche Anpas- 
sung der Geschichte versucht das System anhand der physischen räumlichen 
Voraussetzungen, die z.B. durch einen photogrammetrischen Scan digita- 
lisiert werden, zunächst vorhandene Raumelemente zu finden, die in den 
Dienst der Geschichte gestellt werden können (Abb. 8.4). Das System sucht 
nach Objekten im physischen Raum, die als haptisch wirksame Erweiterungen 
der virtuellen Elemente nutzbar gemacht werden können. Ein Küchentisch 
kann im VR-Erlebnis als Ablagemöglichkeit für in der Story vorkommende 
Elemente dienen. Mit Hilfe dieses Systems ist es möglich, die Anwendung auf 
einer Minimalfläche von nur ein mal ein Meter physischem Raum spielbar zu 
machen. 


Reinfeld: Ich sehe in Ihrem Ansatz etwas allgemeiner betrachtet eine Form von 
programmatischer Verdichtung von vorhandenem Raum. Dabei habe ich sofort 
ein für die Architekturgeschichte ikonisches Projekt des niederländischen 
Architekturbüros Office for Metropolitan Architecture (OMA) vor Augen. Rem 
Koolhaas und seine Kolleg:innen schlugen 1991/92 in einem Masterplan für die 
Neugestaltung eines bis dato nur in den frühen Morgenstunden von einem 
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Abb. 8.4 Stills aus Projektvideo Stuff-Haptics: Stories with Pas- 
sive Haptics for Limited, Uncurated Sets of Physical 
Props. Sebastian Marwecki mit Moritz Loos, Hasso 
Plattner Institut Potsdam, Computer Science und 
Human-Computer Interaction, 2017-2019. Linke 
Seite: In VR sichtbare, automatisch angepasste 
Spielszene, rechte Seite: Reale, in VR adaptierte 
Umgebung zur haptischen Riickkoppelung. 


Fischgroßmarkt genutzten stillgelegten Piers in der Bucht von Yokohama die 
Ansiedelung verschiedener, über den Tag verteilter Aktivitäten vor, wodurch 
die Ausnutzung des Areals extrem maximiert wurde. Ebenso wie die räum- 
lichen Lücken wurden auch alle zeitlichen Lücken des Ortes bzw. seiner Nut- 
zung mit Programm aufgefüllt. Es entstand nicht nur eine räumliche, sondern 
vor allem eine zeitlich-programmatische Verdichtung des Ortes. Ein Vorschlag, 
der damals in dieser Radikalität neu war und in der Folge den Blick auf Archi- 
tektur und Stadtplanung deutlich erweitert hat. Besonders eine Grafik, die 
auf diagrammatische Weise diese Verdichtung sehr augenfällig widerspiegelt, 
ist für das Projekt bezeichnend. In ihr wird die funktionale Anreicherung des 
Gebiets zeitlich verteilt über die 24 Stunden eines Tages verdeutlicht (Abb. 8.5). 
Auch wenn sich Ihre Ansätze auf einen denkbar kleineren Maßstab beziehen, 
erinnert mich diese Form einer zeiträumlichen und programmatischen Ver- 
dichtung in gewisser Weise an diesen Masterplan für Yokohama. 
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Abb. 8.5 Office for Metropolitan Architecture (OMA), 
Yokohama Masterplan, Wettbewerbszeichnung 1991. 


Marwecki: Ich kann den Zusammenhang nachvollziehen. Die mehrfache Nut- 
zung von Raum ist primär eine ökonomische Frage. Nach dem Zweiten Welt- 
krieg wurden z.B. Betten von Schichtarbeitern mehrfach untervermietet und 
damit durchgehend genutzt. Das könnte man auch als zeitlich-programmatische 
Verdichtung bezeichnen. 


Reinfeld: Das stimmt. Im Gegensatz zur damals bestehenden Leere im Hafen 
von Yokohama sind die heutigen Platzverhältnisse, gerade was städtischen 
Wohnraum angeht, um ein Vielfaches beengter und auch umkämpft. Aus- 
gangspunkt und Grundlage Ihrer Uberlegungen ist ja auch eine Kostenfrage. 
Was ist, im Kontext einer VR-Anwendung, Ihrer Ansicht nach das eigentlich 
kostbare Gut? 


Marwecki: Als VR vor etwa einem halben Jahrhundert entwickelt wurde, war 
die Technik noch exorbitant teuer und in ihren Ausmaßen raumfüllend. Es 
waren entsprechend große Investitionen notwendig, um eine VR-Erfahrung 
erleben zu können. Heute ist es möglich, für circa 500 Euro eine voll funktions- 
fähige VR-Anlage zu erwerben. Diese Summe ist klein im Vergleich zu den 
Kosten für den Platz, der zur Nutzung von VR eigentlich benötigt wird. Die 
Mietkosten würden ein Vielfaches dessen ausmachen, was die VR-Hardware 
kostet. Die VR-Systeme werden laufend günstiger, das ist gut, aber wenn eine 
VR-Anlage anstelle von 900 Euro nur noch 400 Euro kostet, dann sind sol- 
che Einsparungen im Vergleich zu den (monatlichen) Raumkosten, die eine 
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großflächige VR-Nutzung nach sich zieht, fast vernachlässigbar. Es ist güns- 
tiger unser VR-System zu verwenden, mit dem ein VR-Erlebnis auch in sehr 
engen privaten Umfeldern funktioniert, anstatt zur Nutzung von VR teure, 
leere Studios anzumieten. Ebenso ist es kostenintensiver, wenn Spieleent- 
wickler ihre Anwendungen immer neu programmieren müssen, damit sie in 
unterschiedlichen räumlichen Gegebenheiten lauffähig sind. 


Reinfeld: Bei dem Yokohama Entwurf ging es um die Aktivierung ungenutzten 
Raums, der weitgehend brachlag und zum Leben erweckt werden sollte, wäh- 
rend es in Ihrer Arbeit um die Kosten innerstädtischen Wohn- und Arbeits- 
raums geht. Gleichwohl treffen sich beide Ansätze in der Idee, Orte zeitlich 
und inhaltlich parallel nutzbar zu machen. Die Flexibilisierung von Wohn- 
raum ist ein zentrales Thema der Moderne. Dabei können, verkürzt gesagt, 
zwei grundlegende Denkrichtungen unterschieden werden: Ein Konzept 
setzt auf weitgehend neutrale und unspezifische Raumkonstellationen, die 
inhaltlich möglichst ungewidmet sind, um für viele Funktionen offen zu sein. 
Das wäre auf VR bezogen also das leergeräumte, fünf mal fünf Meter große 
Lab (in Ihrer Anwendung Overloading Physical Space). Ein anderes Konzept 
setzt eher auf räumliche Flexibilität durch bauliche Maßnahmen wie ver- 
schiebbare Wände, multifunktionale Möbel und verschaltbare Räume. Das 
entspräche Ihrem Ansatz der Virtualisierung von Raum in Scenograph. In 
diesem Kontext frage ich mich nach weiteren Anwendungsméglichkeiten mit 
Blick auf die Virtualisierung von Begegnungen durch Videomeetings während 
der COVID-ıg-Pandemie. Dabei wurden vielerorts private Wohn- oder sogar 
Schlafbereiche plötzlich zu (halb-Jöffentlichen Büroräumen umfunktioniert. 
Das ist ein enormer Druck zur Flexibilisierung. Und wir stellen fest, dass die 
videobasierte Kommunikation, die über die zweidimensionale Vermittlungs- 
ebene des Monitors erfolgt, aufgrund dieser Beschränktheit auch große 
Defizite in der Kommunikation mit sich bringt. Diese Defizite sollen mit Hilfe 
heute schon angebotener VR-Meetingräume überwunden werden. Könnten 
bei solchen Treffen in virtuellen Umgebungen die von Ihnen entwickelten Sys- 
teme zur Virtualisierung von Raum möglicherweise ebenfalls gewinnbringend 
angewendet werden, im Hinblick auf die (zumindest teilweise) Integration der 
jeweils individuellen Raumsituation der Beteiligten? 


Marwecki: Bei der gemeinsamen virtuellen Kommunikation aus verschiede- 
nen physischen Räumen hätte man ein Constraint Setup A (also eine Randbe- 
dingung A) mit Nutzer:in A mit dem physischen Raum A und ein Constraint 
Setup B mit Nutzer:in B mit dem physischen Raum B, plus die Anforderungen 
C des virtuellen Gemeinschaftsraums. Es gälte also drei Constraint Setups 
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miteinander zu verbinden. Das macht die Anzahl der möglichen Lösungen 
des Problems sehr viel kleiner und bedeutet, dass es entweder weniger 
gemeinschaftliche Räumlichkeit gibt oder die Anwendung weniger komplex 
auszugestalten ist. Je mehr Randbedingungen formuliert werden, die sich 
widersprechen, desto weniger Möglichkeiten bestehen, eine Lösung zu finden. 
Wie bei einem Gleichungssystem: irgendwann kann es sein, dass keine Lösung 
mehr möglich ist. 


Reinfeld: Das bedeutet im Falle eines VR-Zusammentreffens, dass die Setzung, 
wie der gemeinsame virtuelle Raum beschaffen ist, weicher zu formulieren ist, 
damit die unterschiedlichen Randbedingungen zu einer passenden Lösung 
verbunden werden können? 


Marwecki: Genau. Und wenn wir viele Leute zusammenschalten, kommen 
wir am Ende mitunter wieder bei den zwei leeren Quadratmetern physischen 
Raums als einzige Lösung an. 


Reinfeld: Auch im Kontext der kürzlich formulierten Zukunftsvorstellungen 
eines der weltgrößten Anbieter sogenannter Sozialer-Medien-Plattformen 
sind diese Fragen von großer Aktualität. Ich meine die von Facebook-Gründer 
Marc Zuckerberg jüngst veröffentlichten Planungen für ein in Teilen virtuell 
erweitertes Zusammenleben unter dem Stichwort Metaverse. Ich finde, dass 
hierbei die Frage, wie wirkliche und virtuelle Welt in ihrer je unterschiedlichen 
Konstitution überhaupt sinnvoll miteinander interagieren können, noch stark 
unterbelichtet ist. Die von Ihnen entwickelten Strategien einer systematischen 
und flexiblen, wenn man so will sprachlich basierten Verknüpfung dieser bei- 
den Welten könnte hierfür doch eine prototypische Grundlage darstellen. 
Oder winken Sie da ab, weil die Anzahl der Randbedingungen im Sinne des 
eben Gesagten viel zu groß ist? 


Marwecki: Wir sind alle fasziniert von Snow Crash und ähnlicher Science- 
Fiction und den damit verbundenen Vorstellungen von fantastischem vir- 
tualisiertem Zusammenleben. Auch wenn die Wege, dies zu erreichen, im 
Einzelnen divergieren, haben wir da alle so eine gewisse Phantasie im Kopf. Ein 
schöner Gedanke und auch eine gute Stoßrichtung. Aber ob wir das erreichen? 
Ich kann nur sagen, was ich erreichen möchte, und das ist eine neue Art von 
Storytelling. Schon dieses Ziel finde ich für meine Person anmaßend genug. 
Die zentrale Erkenntnis hierbei besteht darin, dass wir mit dem physischen 
Raum und seiner virtuellen Erweiterung noch etwas über Text, Bild und Video 
Hinausgehendes zur Verfügung haben, womit wir uns gegenseitig Geschichten 
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erzählen können. Es geht darum, unsere körperlichen Erfahrungen im Raum 
in diese neuen Welten miteinzubeziehen. Dafär miissen wir respektieren, dass 
es relevant ist, in welchem Raum sich unserer Körper aufhält. Auch weil es am 
naheliegendsten und, nicht zuletzt 6konomisch betrachtet, am realistischs- 
ten ist, vom Faktum unseres kérperlichen Existierens im physischen Raum 
auszugehen. 


Reinfeld: Das sehe ich genauso. Aber Sie hatten die Probleme bei zu vielen 
unterschiedlichen physischen Wirklichkeiten und einem gemeinsamen vir- 
tuellen Treffpunkt bereits genannt. Wie bekommen wir die vielen Randbe- 
dingungen in einem beide Welten beriicksichtigenden, ich nenne ihn mal 
‚dritten Raum‘, zusammengebunden? 


Marwecki: Die historische Lösung hierfür war immer Abstraktion und der 
Einsatz von höherwertiger (Programmier-)Sprache. Also warum nicht jetzt 
die gleiche Strategie anwenden? Es geht beim kommunikativen Zusammen- 
kommen in Virtual Reality natürlich um etwas anderes als um Storytelling und 
VR. Am Ende ist das Problem der unterschiedlichen physischen Realitäten 
nicht eindeutig lösbar, sondern es muss eine elegante Form der Fehlertoleranz 
(graceful degradation) in der Applikation geben. Die Anzahl der unterschied- 
lichen Räume oder der virtuellen Objekte im Raum oder die Komplexität der 
Geschichte können begrenzt werden. Vergleichbar mit einer Applikation, die 
auf gewisser Hardware flüssig zum Laufen gebracht werden kann, z.B. durch 
besonders rechenstarke Grafikkarten, aber eben auch auf anderen Maschinen. 
Wenn die Ansprüche der Anwendung zu hoch sind, muss es Abstriche bei 
den Räumen geben, indem sie kleiner oder mit weniger Differenz ausgestattet 
werden. 


Reinfeld: Sie skizzieren hier eine Herangehensweise, die für mich eine andere 
und neue Art des Umgangs mit Raum andeutet. Eine regelbasierte und damit 
abstrakte Form der Beschreibung von räumlichen Konstellationen virtueller 
und physischer Zusammenhänge. Darin liegt das Potenzial einer fundamen- 
talen Erweiterung des architektonischen Verständnisses und perspektivisch 
auch des entwurflichen Umgangs mit diesen hybriden Raumformen. 


Marwecki: Diese Beschreibungsmodelle sind auch nachhaltiger. Verglichen 
mit den eingangs genannten Lochkarten-Algorithmen, die nur auf einer 
Hardware verwendet werden konnten und schon kurze Zeit später völ- 
lig zwecklos waren, sind höherwertige Programmiersprachen universeller 
und nachhaltiger anwendbar, weil sie einen größeren Grad von Abstraktion 
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formulieren. Dadurch werden flexiblere Verbindungen zwischen Erlebnissen 
in VR und ihrer haptisch-körperlichen Erfahrung in quantitativ und qualitativ 
ganz unterschiedlich konfigurierten realen Umgebungen umsetzbar. 


Reinfeld: Herzlichen Dank fär diesen interessanten Einblick in Ihre Forschungs- 
arbeit. Fiir mich ergeben sich hierdurch neue und spannende Aspekte in Hin- 
blick auf die Frage einer architektonischen Hybridisierung von virtuellem und 
realem Raum. 
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III. Bild-Räume aus historischer und 
theoretischer Perspektive 


How and Where to Find a Virtual Image 


Eva Wilson 


The conception of a virtual image, to take an early instance, is probably an entirely new 

one to the reader's mind. [It] may be described as an image that does not exist until there 

is an eye to receive the rays. The eye calls the image, though not the rays, into existence. 

— Osmund Airy, Geometrical Optics: Adapted to the Use of the Higher Classes in Schools, 
Etc., 1870 


You could be me and I could be you / Always the same and never the same / Day by day, 
life after life / Without my legs or my hair / Without my genes or my blood / With no name 
and with no type of story / Where do I live? / Tell me, where do I exist? / We're just ... / 
Im-ma-ma-material, immaterial / Immaterial boys, immaterial girls / Im-ma-ma-material, 
immaterial / We're just, im-ma-ma-material (I could be anything I want) / Immaterial, 
immaterial boys (anyhow, anywhere) / Immaterial girls (any place, anyone that I want) / 
Im-ma-ma-material, immaterial 

— SOPHIE, “Immaterial,” track #8 on Oil of Every Pearl’s Un-Insides, MSMSMSM / 


Future Classics, 2018 


Even though the history of the ‘virtual’ reaches back a lot further than its men- 
tion in a British secondary school book from 1870, Osmund Airy’s above defi- 
nition of the ‘virtual image’ might still be unfamiliar to readers of the early 
twenty-first century, to whom virtual spaces are commonplace, or common 
places. In Airy’s description, we learn that an eye can call an image into exis- 
tence. But — whose eye, and what kind of existence? With what voice does an 
eye call? Where is the virtual image, what reality does it inhabit when called, 
and how are we to understand the seeming contradiction between a passive 
eye that merely receives rays, and a conjuring, evocative eye that has the power 
to conceive an image? 

The virtual image, as it is discussed below, holds a specific place within a dis- 
tinctive scientific culture of the nineteenth century, but its resonances can be 
found and tuned into even today. As an encounter of rays, retina, and desire, it 
circumscribes not a thing but a moment; of crossing, of relaying, of complicat- 
ing the boundaries between the physical world, the mind, and the incantations 
of an ocular. A ‘virtual image’, as opposed to a ‘real image’, is defined as formed 
by a lens or a mirror that reflects, refracts, or diffracts light rays which diverge 
rather than converge, meaning it, the image, cannot be captured on a screen. 
While this definition is specific, the nature of the image itself is abstract. Since 
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the early seventeenth century, a familiar place to find an illustration of the 
phenomenon of the virtual image might be as a diagram in optical, philosoph- 
ical, and psychological treatises, where, over the course of several hundred 
years, certain graphical tropes have become customary. Considered in and of 
themselves, these tropes may act as pointers toward a more general notion of 
the ‘virtual’, which must count among the most elusive and snake-like terms 
of Western philosophy. “Virtuality is admittedly difficult to grasp. Indeed, this 
is its very nature.”! No single or shared definition describes the virtual, busy as 
it is with its own undoing, a constant shedding of skin. 

The ‘virtual image’ on the other hand is, at first glance, much more easily 
demarcated, or literally delineated. Generally, the ray diagrams that describe 
it consist of an assemblage of lines, arrows, and symbols (fig. 9.1). A circular 
shape with several perimeter layers describes the eye; a gap in the line of one 
of these perimeters indicates the overture of the pupil (fig. 9.2). There might 
be a conical space that spreads out before the singular two-dimensional eye 
designating a ‘pencil of rays’ arriving from the object; a rainbow curve of a dis- 
sected spherical mirror; the slice of a lens; intersections; divergences; letters 
of the alphabet abbreviating the facets of vision. The diagram will inevitably 
contain the representation of a passage or transit from one side of the diagram 
to another, a change in course, a bifurcation: here the object, there the image; 
solid lines on the one hand, dashed and dotted on the other. 

What is signified as virtual can be found in those parts of the diagrams that 
appear in the form of interrupted and broken lines, as lower-case characters, in 
italics, and shadowed by apostrophes. An x to balance the X, an - - - - - - - - - to 
proffer the — — — Even these diagrams in their reductive abstraction, defi- 
ciently describing a mostly monocular optical system and a permanently open 
black-and-white, two-dimensional eye, suggest that over there lies a realm of 
even lesser physicality, of semblance and resemblance, not quite equivalence, 
an appearance with unclear status. The dashed line indicates at once its own 
presence and absence, a stuttered indecision. The minuscule character sym- 
bolizing the image is the little sibling of its majuscule, the object. The italic 
type is the font’s mode of implying an ‘as-though’ in the form of a typographi- 
cal conditional. The virtual image appears as the object's revenant: as its spec- 
tre. These ray diagrams lack flesh and bone from the outset, but they offer even 
less meat in the realm of the optical virtual. Nevertheless, I would like to argue 
that the virtual image is in fact very much about the body. 

As noted above, the basis for the distinction between ‘virtual’ and so-called 
‘real’ images in lens-based optical systems is the difference between the con- 
vergence and divergence of rays: in the case of a real image, light rays extending 


1 Barad, “Transmaterialities. Trans*/Matter/Realities and Queer Political Imaginings,” p. 396. 
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Fig. 9.1 Osmund Airy, diagrams of virtual images, from Osmund Airy, Geometrical Optics: 
Adapted to the Use of the Higher Classes in Schools, Etc., London, Cambridge: 
Macmillan and Co., 1870. 


from an object through a lens or reflected in a concave mirror come together 
in a single focus. This is where the image is located, and also where it can be 
intercepted, where its luminous points can be compelled by a screen. It “may 
be regarded as a new object.”? A real image appears, for example, in front of a 
concave mirror, on a cinema screen, in a camera obscura, or by the same prin- 
ciple on the retina. “The real image is free-standing, formed in the air, can be 
seen from either side, can behave exactly as if it is a self-luminous object, but 
it is inverted and spectral.”? 

To prove this functional analogy between camera obscura and eye, the 
Bavarian physicist and astronomer Christoph Scheiner, working at the court 
of Archduke Maximilian III in Innsbruck around 1619, conducted a devi- 
ant experiment (fig. 9.2):* he removed the eyeball of a recently dead ox and 
replaced the retina with a semi-translucent membrane of paper or eggshell. 
Fitting the dead mammalian eye into a small hole in the wall of a darkened 
space with its pupil oriented outwards, he was able to see a picture — a real 
image — of the outside scene projected onto the membrane inside, quite liter- 
ally perceiving the world through the eye of another species. This re-routing of 
embodied visual experience illuminated the mechanics of the eye and the eye 
as mechanical, and paradoxically provided proof exactly for the redundancy of 
any body’s eye’s presence in relation to the existence of a real image: whether 
anyone was watching or not, here was an accurate representation of visible 
things: “light could create images independently of sensation.” 


Brewster, Treatise on Optics, p. 48. 

3 Armstrong, Victorian Glassworlds, p. 285. 

4 Cf. Shapiro, “Images: Real and Virtual, Projected and Perceived, from Kepler to Dechales,’ 
p. 292. Scheiner’s aim was to experimentally prove Johannes Kepler’s new optical concept of 
pictura, see below. His experiment was described and famously illustrated by René Descartes 
in La Dioptrique, Discours 5e, 1637; however, Descartes failed to acknowledge his source. 

5 Pantin, “Simulachrum, Species, Forma, Imago,” p. 256. Not coincidentally, this notion antici- 
pates the rhetoric around early photography (which produces pictures that technically also 
fall into the category of real images) by emphasising the agency of light and the expendability 
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La Dioprrique 


Fig. 9.2 

René Descartes, diagram of ocular 
refraction, from René Descartes, La 
Dioptrique, Discours 5e, 1637. Image: 
Wellcome Collection Gallery, Wikimedia 
Commons. 


By contrast, the rays of the virtual image’s focus only seemingly converge at the 
location where its object appears. Instead, reflected by a mirror or refracted 
by a lens, the rays stray and wander and disperse. The virtual image can only 
be found in the subjunctive: “When we therefore say an imaginary [i.e. vir- 
tual] focus, we understand a point in which we imagine two real and true 
lines to converge, but which are not truly produced to such a concourse, but 
if they were produced, they would concur there... ”6 A virtual image, “hanging” 


of an author as well as a viewer. In fact, lenticular photography and stereography endlessly 
reenact Scheiner’s experiment, the late-coming viewer granted a technologically facilitated 
glance through the camera’s aperture(s), machine and human vision amalgamated. 

6 Eschinardi, Centuria problema tum opticorum, in qua praecipuae difficultates catoptricae, et 
dioptricae, demonstrative solvuntur, 1666-68, p. 31, quoted from Shapiro, “Images,” p. 297, ital- 
ics E.W. 
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or “formed in the air,” is what appears in a camera lucida, a stereoscope, or a 
plane mirror. A convex mirror also creates a virtual image, and so does a tele- 
scope. The location of the virtual image is a matter of debate in the field of 
catoptrics (the study of reflection) and dioptrics (the study of refraction): it 
cannot be captured on a screen, and, unlike a real image, it does not physically 
appear or exist without an observing, living eye — that is, outside of a conscious 
body. Whereas a real image remains immobile and appears whether there is a 
viewer or not, a virtual image changes position when the observer does and 
only appears for him or her in the first place. Although the virtual image has a 
physical reality and is in fact an optical correlate of a material object, it has no 
‘outside’ existence independent from a viewer: its location is to be found in the 
folds of a seeing body and therefore also in embodied time; itself an intangible 
spectre, it is also a kind of durational-sensorial parasite. “It is not possible to fix 
a mirror image in order to examine it as an image: If one (or the object) moves 
away, the image, which indeed has no autonomy, also disappears. One can nei- 
ther rotate nor enlarge nor tinge it: only acting upon the object can modify the 
image. One cannot step into the mirror.”® 


Let ‘As-Though’ Drive the Expectation 


A common reading of virtuality often places it in contrast with notions of actu- 
ality, reality, or physicality, in the register of binaries and dualisms. Something 
virtual is understood to be something unreal, or something uncannily hyper- 
real. In the advent of digitality, this simplification of the relationship between 
virtuality and its Other has at times culminated in an antagonising fear or 
violent fantasy of the corruption of the real by the virtual (“Its only aim is to 
prostitute, to exterminate reality through its double”?). On the other hand, the 
promise of liberation from physicality in the guise of virtuality also appears 
to offer the manifestation of a dream of transcendental metaphysics that has 
existed since antiquity: mere pulp and contingency here; limitless potential 
there. In terms of the virtual image, which describes an appearance created 


7 “As it was introduced in the last third of the 17th century, the modern, geometrical notion 
of optical image is the representation of a visible object actually or virtually hanging in the 
air” Malet, “Keplerian Illusions,” p. 2. “An imaginary picture, or what in optics is called an 
image, is, or may be conceived to be, formed in the air, but it is not visible as a thing to an 
eye situated out of the direction of the rays which go to form it.” John Herschel, quoted from 
Armstrong, Victorian Glassworlds, p. 9. 

8 Esposito, “Illusion und Virtualität,’ p. 192, translation E.W. 

9 Baudrillard, “Aesthetic Illusion and Disillusion,” p. 114. 
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by rays of light that travel through a refracting medium or are reflected by a 
mirror, this binary is seemingly self-evident: it refers to what happens after, 
or beyond, a prism, designating a dematerialised and ineffective visual pres- 
ence in the shape of a double or a simulation, a mere reflection, ein Abglanz, 
as opposed to the presence of the self-same and indubitable thing in front of 
it. The "curiously finite inaccessibility” and "almost lethal completeness and 
containment”! of the virtual image teases a place that is both geometrically 
and figuratively liminal, a threshold that lends itself to endlessly profound 
and equally banal pairings of tropes, ricocheting off each other into infinity: 
reality / fiction, life / death, true / false, active / passive, introspection / vanity, 
embodiment / immateriality, sanity / madness, and so forth. The virtual might 
thus appear as a pure and immersive illusion, and thereby as a negation of real 
space and real bodies. 

“But perhaps this negation is the real illusion”! In contrast to the desire 
and its long tradition to brush matters into a tidy binary, this text aims at knot- 
ting, weaving, complicating the correlations at play in the space of the virtual 
image. For rather than outlining one half of a twinned dichotomy, the optical 
category of the virtual image since its emergence in the seventeenth century 
at the very least triangulates the nodes that create it. The image behind the 
mirror fixes the viewer's regard and repeats some kind of promise time and 
again and over and over, but indeed it has no existence in and of itself: neither 
as the exterminator of the real, nor in the realm of a timeless and immaterial 
sublime. Instead, leaving behind or going beyond the monotonous appeal of 
the binary, it exists precisely in the intersections of observer, medium, image, 
and object, brought about by repeated transitions and changes in the direc- 
tion of light, as well as a gaze that is held over time, and that in turn manages 
to hold and reflect this entangled relationality. “The virtual is a lived paradox 
where what are normally opposites coexist, coalesce, and connect; where what 
cannot be experienced cannot but be felt - albeit reduced and contained.”!” 

When astronomers, opticians, and mathematicians began establishing the 
term ‘virtual’ in the field of optics in the seventeenth century, the word itself 
was present in common parlance in the meaning of something “in essence, 
potentiality, or effect, although not in form or actuality”.!? Etymologically, it 
stems from the Medieval Latin virtualis and classical Latin virtus, in turn evolv- 
ing from vis (power, force) and vir (man). Connotations such as ‘efficiency, 


10 Armstrong, Victorian Glassworlds, pp. 287 and 285. 
11 Haraway, “The Promises of Monsters,” p. 325. 

12 Massumi, Parables for the Virtual, p. 30. 

13 Oxford English Dictionary. 
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excellence, potency, virtue, virility, manliness, and manhood’ hark back to 
this gendered root and are still at play in the more modern sense of ‘virtue’ 
(‘moral life and conduct; a particular moral excellence; high character; good- 
ness’). Virtue takes on the connotation of ‘valour, bravery, courage (in war)’ in 
regard to male conduct, and, since the sixteenth and seventeenth centuries, 
‘chastity and sexual purity’ especially in regard to the demeanour of women.!*+ 
In post-classical Latin from around 400 CE, virtus can also mean ‘miracle’ or 
‘sense of wonder’: “This latter meaning is particularly interesting here, because 
what is called a wonder is characterised by a certain kind of causality: it is non- 
predictable and contingent, the effects exceed their cause.” 

The virtual image as an optical system is a technology; as such, it compli- 
cates the relations of observer, medium, image, and object to higher dimen- 
sions, especially if the object and the eye are one and the same: self-recognition 
in the mirror image as alienation from the self, becoming aware of oneself as 
other in one’s own passing reflected glance, or recognising oneself in some- 
thing not-I — this is the realm of the virtual. Turning towards a virtual image 
also means turning away from its object this side of the prism, looking at a 
thing as its own shadow, echo, iteration, looking at it awry, obliquely, cock- 
eyed, seeing multiple perspectives at once, superpositions (or superstitions) 
of hovering layers of reality, multiplicities. Sameness returning unfamiliar 
and unexpected, an alternative version of what is, an in-between, sham space, 
where “things go the other way,” as Alice remarks of the world she encounters 
through the looking glass.!® 

Lewis Carroll’s account of Alice's transgressions into the virtual world 
behind the mirror may well have been encouraged by seeing, and collecting, 
works by the amateur photographer Clementina Hawarden at a féte organised 
to raise funds for the Royal Female School of Art in London in 1864. A stereo- 
graph now in the Collections of the Victoria & Albert Museum pictures the 
artist's daughter (also called Clementina) seated at a large, angled mirror of 
the type that in French is called a psyché (fig. 9.3).!” The girl’s gaze in front of 


14 Oxford English Dictionary. Cf. also Welsch, “Virtual Anyway,” p. 247, and Historisches 
Wörterbuch der Philosophie, pp. 1062-67. 

15 Sehgal, “Time is Invention”, p. 172. 

16 Carroll, Through the Looking-Glass, p. 9. 

17 Clementina Hawarden, photograph, 1859-61, albumen print, 71 x 138 mm, Collection 
of the Victoria and Albert Museum (457:284-1968). Lewis Carroll published Alice in 
Wonderland in 1865 and Through the Looking-Glass, and What Alice Found There in 1871. 
Carroll acquired five prints, some of which showed Hawarden’s adolescent daughters, 
who regularly modelled for her, caught “between a looking glass and a window.’ Fagance 
Cooper, “Through the Looking-Glass’, p. 8. 
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it seems to be directed toward her own reflection, but because of the angle 
of the mirror, her reflected gaze appears downcast and introverted, a strange 
misalliance of regards. Her mirrored body is truncated by the edge of the look- 
ing glass so that only her torso is visible. The lack of a lower body and hands in 
the mirror adds to the disquieting or “bothersome”!® atmosphere that creeps 
into the framework of the otherwise placid scene. The photograph(s), seen 
through a stereoscope, constitute a virtual image: the viewer’s eyes focus on 
the simulated and illusory space behind the picture plane. This is an impres- 
sion that appears only for the duration of the viewer’s engagement with the 
device, him- or herself engendering the image at a location where it does not 
physically exist. 


Fig. 9.3 Clementine Hawarden, photograph, 1859-61, albumen print, 71 x 138 mm, 
Collection of the Victoria and Albert Museum (457:284-1968). 


The setting itself appears surprisingly plain in the historical context of the 
domestic Victorian interior, typically a feminised, softened, and ornate space: 
here we see walls without wallpaper or decoration, a bare and non-descript 
floor. A decidedly mundane and abstract non-space, the room’s configuration 
seems provisional or transitional, awkward like a backstage area (theatre with- 
out theatricality), or a shoddily assembled home. Several objects that belong 
to Hawarden’s repertoire of moveable props have been arranged for the pic- 
ture. Their placement emphasises the pull at the heart of the photograph, the 


18 Ibid., p. 8. 
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unsettling and mesmeric inward caverning of the stereoscopic image. Each of 
the objects and figures equally reveals and veils; ostensibly they hint at spatial 
potential: the seated girl's shoes peek out from under the shadow of her crino- 
line; the draped curtain next to the cheval mirror obstructs what might be a 
doorframe; the inclined mirror multiplies and upends the Cartesian coordi- 
nates of photographic perspective; and the enigmatic (empty?) picture frame 
only visible in the reflection hovers on the wall behind both the girl and the 
invisible photographer (inexplicably perpendicularly aligned with the room 
outside of the slanted mirror). The image is arrested uncomfortably in this 
tilted moment, it is allowed to rest in a temporal interstice much like the hair- 
brush that lies unused in Clementina's lap. Centrally, there is the girl's unfath- 
omable gaze, sulky and defiant. Seen in the lowered view of the angled mirror 
it seems aloof, disdainful, or bored, but in front of it in the profile view it rests 
attentively: a gaze that is duplicated two-fold; in and before the mirror on the 
one hand, as well as in the two different perspectives of the stereo image on 
the other. 

Clementina's avoidance of both her own gaze in the reflection and that of 
the camera, in every iteration of herself, dodges the potential for an event of 
(self-)recognition or identification. The viewer, taking the place of the binocu- 
lar mother apparatus, is not met by the daughter's eyes; she avoids acknowl- 
edging her own being-seen, her seen being, and in so doing also steers clear of 
avowing her own presence as a singular subject and multiple resemblance. In 
fact, it is frustratingly unclear what she is looking at: a part of the room that 
does not exist for us, try as we might to locate it. Paradoxically, this elusion of 
a returned gaze, which avoids mutual recognition, instead protects the integ- 
rity of her representation, a fragmented selfhood that comes to rest within the 
image and within the passive agency of its serene subject. 

As noted above, both the mirror reflection and the stereograph create vir- 
tual images. Does this particular stereo pair then constitute a kind of second- 
order virtuality? One might also consider the familial relationship between the 
photographer and her subject: a work of art in the age of technical reproduc- 
ibility and a portrait of a reproductive system, a play on resemblance and dis- 
similitude or self-identity and auto-alienation. Hawarden's photograph is as 
much a record of childhood and adolescence as it is of female practices within 
the spaces that were available to her and her daughters, who often posed as 
her subjects. Hawarden, able to pursue her work by virtue of her family's eco- 
nomic status, used two generous rooms of their new London home in 5 Princes 
Gate, South Kensington as her studio, repeatedly making use of mirrors, win- 
dows, and intermediate spaces such as the terrace to explore the liminal 
(dis-)comfort zones of the domestic, the familial, the public, the performative, 
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the uninhibited, the self, or the many virtual selves. Even though the stereo 
pair expands into virtual depth, the distinctly unhomely (or unheimlich) and 
cobbled setting doesn’t quite allow this pictorial space to rally into a coherent 
spatial entity; instead, it remains both weird and eerie, replete with areas that 
exist only for the diegetic gaze.!? 


Looking Awry 


In his first Seminar (1953-54), Jacques Lacan uses a diagram of a virtual image 
created by a double mirror reflection which closely resembles its historical 
predecessors in the realm of optical theory such as those shown above; here, 
Lacan has constructed a schema to illustrate the role of reflective images in 
the context of human identification. Earlier, in his “Mirror Stage” essay, Lacan 
famously described the experience of self-recognition in the mirror as the basis 
for the process of ego formation, “namely, the transformation that takes place 
in the subject when he assumes an image”.?° This experience of “jubilance” 
is powerful enough to assemble a self that was previously discombobulated, 
fragmented, and at odds. “[I]t is in this unity that the subject for the first time 
knows himself as a unity, but as an alienated, virtual unity.”2! At the core of this 
unity is a splitting, a differentiation, a displacement, an uprooting by way of, 
and into, the virtual image. Here is the jubilance of the alien and the eerie, a 
glimpse of a world that is complete but immaterial, the recognition of the site 
of misidentification and performativity. 

Here, I would like to return to the trope of the simplified, binary divide 
between this side and that side of the prism, lens, or mirror. Sadie Plant identi- 
fies another pairing, one that is at the core of a traditional patriarchal Western 
order of reality and that distinguishes between physicality and immateriality, 
matter and form, body and mind. Man’s dream of transcendence, of crossing 
over into a realm of pure thought unconcerned with the laws of physics, is, 
as Sadie Plant points out, also an attempt of “getting out of the meat”.?? This 


19 = Mark Fisher’s The Weird and the Eerie takes its departure from Sigmund Freud’s notion of 
unheimlich to look closely at the not-quite-genres of the titular ‘weird’ (the out-of-place 
and the out-of-time) and the ‘eerie’ (something where there should be nothing; nothing 
where there should be something). All three terms seem useful in understanding aspects 
of Hawarden’s larger oeuvre, which can be found in the Collections of the Victoria and 
Albert Museum, London. Cf. Fischer, The Weird and the Eerie. 

20 Lacan, “The Mirror Stage,’ p. 76. 

21 Lacan, The Seminar of Jacques Lacan: Book II, p. 50. 

22 Plant, “The Feminine Cyberspace’. 
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idealised fantasy of disembodiment, of liberation from the inconvenience of 
a body, reappears not least at the heart of a particular dream of the digital vir- 
tual. And so, to remain in the binary realm of zeroes and ones for a moment, it 
may seem as though the matrix of virtual reality could hold the long-awaited 
promise of mankind's autonomy, immortality, and omnipotence, of the freeing 
of information and therefore of mind from matter. This space might resonate 
with text such as that quoted above, which reflexively refers to a subject who 
knows himself, and is jubilant about his image assumption, or, as Plant polemi- 
cally puts it, “in which one could be anything, even God: a space without bod- 
ies and material constraints, a digital land fit for heroes and a new generation 
of pioneers”.23 

But, at odds with this Cartesian dream of transcendence and immateriality, 
the virtual, even before its digital incarnation into microprocessors, undersea 
data cables, and server farms, is always already embodied, both through a sen- 
sorial system, through nerves, veins, and cells, and through duration as lived 
time, amounting to the organs of a physiological host. It is tied to a, to our 
body, and both resides in it and gives shape to it. In the process of its percep- 
tion, it is made actual “into a dimension of intensity or intension as opposed 
to extension,” in effect continuously doubling the body “by this dimension of 
intensity,’24 a bit like Hawarden doubles and redoubles herself into her work 
as well as her offspring. 

In the previous quote, Brian Massumi reiterates or reformulates the French 
philosopher Henri Bergson’s conception of the virtual, which, along with that 
of the virtual image, had made an epistemological reappearance in the context 
of Continental philosophy at the turn of the twentieth century. Bergson first 
wrote about the virtual image in 1896 after borrowing the term from its his- 
tory in optics, a significant provenance in the context of the twentieth-century 
genealogy of virtuality.25 Gilles Deleuze in turn borrowed from Bergson when 
he wrote: 


If we take this direction to its limit, we can say that the actual image itself has a 
virtual image which corresponds to it like a double or a reflection. In Bergsonian 
terms, the real object is reflected in a mirror-image as in the virtual object which, 
from its side and simultaneously, envelops or reflects the real: there is ‘coales- 
cence’ between the two. There is a formation of an image with two sides, actual 
and virtual. It is as if an image in a mirror, a photo or a postcard came to life, 
assumed independence and passed into the actual, even if this meant that the 


23 Plant, Zeroes and Ones, p. 180. 
24  Massumi, Parables, p. 31. 
25 Bergson, Matter and Memory, pp. 29-30. 
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actual image returned into the mirror and resumed its place in the postcard or 
photo, following a double movement of liberation and capture.?6 


The virtual image is, in a Bergsonian and Deleuzian sense, a space of genu- 
ine spontaneity and change, a matrix, a process of becoming, one “through 
which individuals become subjects, that is, tend towards an identity and per- 
sonality that are never (entirely) pre-existing”.?’ This rings true for Clementina 
Hawarden’s stereographic portrait of her eponymic, adolescent daughter, held 
throughout her mother’s practice in moments that never quite capture her. 

The word matrix, in renewed use since the 1999s in the context of digital net- 
works, is in fact the Latin word for womb: its etymology includes “that which 
encloses or gives origin to something’, the “place or medium where something 
is developed’.?® Plant, by way of Luce Irigaray, points out how the space of the 
womb, or the matrix, resembles the “wet, dark and tactile” cave that Plato urges 
man to escape from.?? Unlike Plato, Donna Haraway is emphatic about the 
embedded nature of the space she positions herself in. She speaks from “the 
womb of the pregnant monster, here, where we are reading and writing”. She 
makes explicit that she “turns on figures of pregnancy and gestation’, point- 
ing out that every technology is generative, in a decidedly polymorphic way.?° 
And so, while “[v]irtuality, or our virtual dimension, has to do with the capac- 
ity we have to suspend any definition of ourselves, our capacity to ‘think of 
ourselves beyond ourselves’ in a cultivation of ecstasies or self-transcendence, 
self-overcoming or self-destruction’! it does so through immanence, in time, 
and with all the sensory and tactile tangents that make up a human. 

This is not to say that the virtual as such is gendered or can be generalised 
as either masculine or feminine. Rather, the locus of the virtual image seems 
to open up a space that is linked to the body by an odd and elastic bond, one 
that can bend and stretch and twist, a ‘queer’ relation: the etymology of ‘queer’ 
derives from the Proto-Indo-European ‘terkw’, ‘to twist’ Sara Ahmed quotes 
Maurice Merleau-Ponty’s reference to ‘queer’ space in his description of a sub- 
ject’s movements as seen in an angled mirror, much like the one in Hawarden’s 
stereograph: “the subject at first sees the room ‘slantwise’ A man walking about 


26 Deleuze, Cinema 2, p. 68. 

27 Rouvroy, “Technology, Virtuality and Utopia, p. 131. 

28 Online Etymology Dictionary. 

29 Plant, Zeroes and Ones, p. 178. 

30 Haraway, “The Promises of Monsters,’ pp. 295 and 299. 
31 Rouvroy, “Technology, Virtuality and Utopia,’ p. 131. 


HOW AND WHERE TO FIND A VIRTUAL IMAGE 139 


in it seems to lean to one side as he goes. [...] The general effect is ‘queer.”32 
“Optical instruments are subject-shifters”33 writes Donna Haraway, indicat- 
ing that there is a relay at work between the object, image, and the subject, 
queered, as it were, by the optical system. As such it invokes a place and a 
placement that is both here and there, elsewhere, no-where, a u-topia. A com- 
mon characteristic of the many heterogeneous readings of the virtual, from 
the Ancient and Scholastic beginnings to a modern deliverance by the likes of 
Bergson, Deleuze, or Haraway, is a notion of tending towards, a yearning.?* “My 
diminutive theory’s optical features are set to produce not effects of distance, 
but effects of connection, of embodiment, and of responsibility for an imag- 
ined elsewhere that we may yet learn to see and build here.”?5 


“Look Into the Sky Through Binoculars With Your Mouth Open”36 
— Kepler’s imago 


What ultimately transgresses the threshold of the lens is light. The study of 
refractive and reflective phenomena around the idea of images began in ear- 
nest at the turn of the seventeenth century with the availability of ground 
lenses and polished mirrors; only when objects appeared as images, by way of 
their diversion, mediation, even displacement and distortion, through prisms 
and looking glasses, could the study of their appearances generate complex 
optical ontologies. The German astronomer Johannes Kepler, conscious of the 
frustrating effects of human errors and phenomenological disparities in regard 
to the observation of celestial objects and their movements, published his opti- 
cal treatise Ad Vitellionem paralipomena in 1604, in effect undertaking a para- 
doxical endeavour, as it examined the “science of visual experience of things 
that are beyond the power of one’s eyesight.”?” Contemporary rivals insisted 
that celestial bodies were essentially, necessarily, and eternally beyond the 
boundaries of human sensations and knowledge, and furthermore suspiciously 


32 Merleau-Ponty, Phenomenology of Perception, quoted in Ahmed, Queer Phenomenology, 
p- 65. 

33 Haraway, “The Promises of Monsters,’ p. 295. 

34 A slightly more expansive list of different ‘utopian’ readings of the virtual would include 
writers and thinkers such as Aristotle, Duns Scotus, Thomas of Aquin, Giorgio Agamben, 
Elizabeth Grosz, N. Katherine Hayles, Homay King, Brian Massumi, Jose Muñoz, and 
Paul B. Preciado, among many others. 

35 Haraway, “The Promises of Monsters, p. 295. See also Muñoz, Cruising Utopia. 

36 CAConrad, “Minding Thirst,” p. 98. 

37 Chen-Morris, Measuring Shadows, p. 20. 
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viewed astronomy's reliance on dubious new optical instruments such as the 
telescope, or mathematical systems often premised in conjecture. In a rebuke 
to the sceptics, Kepler inverted astronomy's problem by expressly resorting to 
second-order visual experiences such as shadows or artificially constructed 
images “over direct experience of tangible entities.”38 Applying mathemati- 
cal measurement to the optics of shadows (such as eclipses), and mediated 
images such as those seen in the camera obscura or the telescope provided 
the foundation for Kepler’s revolutionary theories about the movement of the 
planets that followed on the publication of his Optics.3? 

Here, in the Optics, he made the distinction between pictura and imago - 
analogous to the more modern terms of real and virtual images - to describe 
a geometrical or optical phenomenon on the one hand, and a physiological 
or psychological one on the other. Kepler was first to consider the eye as a 
camera obscura and, following on the optical theories of the eleventh-century 
Arab mathematician Ibn al-Haytham, he determined that rays of light passing 
through a lens (such as the pupil) connect corresponding points of the object 
and the image. The established understanding of an image (imago) was that of 
an ‘ens rationale; a mere being of the mind. Kepler specified a new optical cat- 
egory: “now let the figures of objects that really exist on paper or upon another 
surface be called pictures (picturae).4° In creating the pictura, today’s real 
image, Kepler hauled the picture out of the retina and into the world, making 
it independent of an observer, and enabling light itself to become the prime 
carrier of information. Inversely, Kepler now thought of the imago as a mere 
glitch or chimera, 


when the object itself is indeed perceived along with its colours and the parts of 
its figure, but in a position not its own, and occasionally endowed with quanti- 
ties not its own, and with an inappropriate ratio of parts of its figure. Briefly, 
an image is the vision of some object conjoined with an error of the faculties 


38 Chen-Morris, Measuring Shadows, p. 20. Cf. also Gal and Chen-Morris, “Baroque Optics 
and the Disappearance of the Observer.’ Aesthetic and religious discourse has a long 
tradition of working into and out of questions of visibility and invisibility, materiality 
and immateriality, visual evidence or presence and insurmountable absence or enigma. 
However, the Ancient and medieval scientific doctrines that came before Kepler con- 
sidered direct perception (‘facie ad faciem’) as the only permissible source of academic 
knowledge, whereas mediated perception ‘per speculum’ had its rightful place in theo- 
logical writing, mystical experiences, and philosophical treatises. Cf. Chen-Morris, 
Measuring Shadows, p. 13. 

39 Kepler, Optics, 2000. 

40  Ibid.,p. 194. 
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contributing to the sense of vision. Thus, the image is practically nothing in 
itself, and should rather be called imagination.*! 


The term imago, also connoting the “seed- or chrysalis-like nature of art works” 
or the “projected embodiment or primordial image of the parent form, idea, 
or action, whose existence brings a thing, thought, or lie into being,”* for 
Kepler, came to signify a deficient, illusory, erroneous impression: one that 
required completion by the spectator, in whose unreliable vision it may be 
supplemented with missing information. Both pictura and imago are formed 
as a result of refracted and reflected rays of light; however, “in image forma- 
tion, some data is missing and the intervention of human imagination causes 
the final result to be a certain artificial entity, where things are not what they 
appear to be.”*? Kepler acknowledged that in regard to the imago, the human 
mind played “an active, creative role in any perceptual act.”** 

By the mid-seventeenth century, the location of the imago as the place from 
which rays appear to diverge “was no longer considered to be an error of vision 
but a true appearance.”*° Following René Descartes’ diagrams of vision modi- 
fied by prisms, lenses, and mirrors, which anticipated the modern geometri- 
cal definition of virtual images, the Aberdeen mathematician and astronomer 
James Gregory published a first description of this type of apparition in his 
Optica promota of 1663: “From the points of the pupil, draw through the points 
of reflection all the lines of reflection, in whose concours L (provided they con- 
cur) will be the apparent place of the image of the point B.’46 Along with a 
growing and more complex vocabulary, more aspects of the nature of images 
became apparent. In 1668, the Italian Francesco Eschinardi stated that plane 
mirrors created: “imagine non reali, sed fictitia & meré imaginaria,” introduc- 
ing in one fell swoop not only the terms ‘real’ (or, in this case ‘not real’), but also 
‘fictitious’ and ‘imaginary’ into the realm of optics.*7 


41 Ibid. p.77. 

42 Howard, “Iconology, Intention, Imagos,” p. 6. 

43 Chen-Morris, “From Emblems to Diagrams,’ p. 163. 

44 Malet, “Keplerian Illusions,” p. 4. ‘Imago’ is also a central term in psychoanalytic theory: 
first introduced by Carl Jung in 19u, it also features in Lacan’s writing, who ties it to its 
historical genesis in the “Mirror Stage” essay and understands it as a coming-into-being 
concurrent or identical with subjective alienation, or becoming-other. Cf. Lacan, “The 
Mirror Stage,” p. 76. Imago was also the name of the psychoanalytic journal founded by 
Sigmund Freud in Vienna in 1912. 

45 Shapiro, “Images,” p. 289. 

46 Gregory, Optica promota, 1663, quoted from Darrigol, A History of Optics, p. 72. Isaac 
Barrow used a similar definition in his Cambridge Lectiones of 1668/69. 

47  Eschinardi, Centuria problematum opticorum, p. 102. 
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In 1674, Claude Francois Milliet Dechales published Cursus seu mundus 
mathematicus, a mathematical compendium written in Latin, including a 
section on dioptrics, in which he adopted Eschinardi's terminology, and fur- 
thermore introduced the term ‘virtual focus’ as well as ‘virtual image.*® The 
first use of ‘virtual focus’ and ‘virtual image’ in English appears in the Irish 
natural philosopher William Molyneux’s 1692 Dioptrica Nova; A Treatise of 
Dioptricks in Two Parts.*9 By the time that David Brewster, the Scottish physi- 
cist who invented and patented the principle of the kaleidoscope in 1815 and 
constructed the first lenticular stereoscope in 1849, both of which produce vir- 
tual images, published his Treatise on Optics in 1831, the term ‘virtual image’ 
had become common terminology within the field, and his formulation resem- 
bles those of his predecessors: “[...] m n will be the virtual image of the object 
MN. It is called virtual because it is not formed by the actual union of rays 
in a focus, and cannot be received upon paper.”°° 

Kepler's former misgivings about the virtual image came to prefigure an 
epistemological shift in the early nineteenth century which gave way to a 
psychophysiological turn in optics. Some years before the scientist and inven- 
tor Charles Wheatstone published his discovery of the binocular principle of 
depth perception as well as his invention of the stereoscope,?! he had trans- 
lated the Czech anatomist Jan Purkinye’s Contributions to a Physiology of Vision 
(1823) from German into English.5? Purkinje had written about the retinal 
afterimage, which Jonathan Crary described as “the presence of sensation in 
the absence of a stimulus — and its subsequent modulations [which] posed a 
theoretical and empirical demonstration of autonomous vision, of an optical 
experience that was produced by and within the subject.”53 Along with that 
of other physiologists such as Johannes Miiller and Hermann von Helmholtz, 
Purkinje’s work gave new credence to subjective phenomena, which were now 
accorded the status of optical truth and objectivity. 

Wheatstone continued to work in the field of optics and space perception, 
among many other scientific research areas. He was the first to realise and 
experimentally prove, by way of the stereoscope, that binocular disparity — the 
fact that each eye sees a marginally different view - is responsible for human 


48 Shapiro, “Images,” p. 302. 

49 Shapiro, “Images,” p. 303. 

50 Brewster, Treatise on Optics, pp. 18-19. 

51 Wheatstone’s invention of the stereoscope was first described in Mayo, Outlines of Human 
Physiology, p. 288. Wheatstone himself published his findings in 1838: Wheatstone, 
“Contributions to the Physiology of Vision, Part the First.” 

52 Purkinje, “Contributions to a Physiology of Vision.’ 

53 Crary, Techniques of the Observer, p. 98. 
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depth perception. Wheatstone showed that two disparate retinal images are 
synthesised into a unified and three-dimensional impression in the human 
sensorium. The stereoscope, which uses two flat images from slightly altered 
angles to produce the illusion of depth, redoubles binocular vision, suggest- 
ing a virtual profundity which is in fact the effect of an autofiction of the eyes 
and the mind. As soon as this new technology was coupled with the equally 
new medium of photography, viewers were swiftly and frequently transported 
to unknown places, even unknown dimensions that had no equivalent in the 
‘real’ world.54 “The very absence of referentiality is the ground on which new 
instrumental techniques will construct for an observer a new ‘real’ world. It is 
a question, in the early 1830s, of a perceiver whose very empirical nature ren- 
ders identities unstable and mobile.”? Stereoscopic images moved their view- 
ers beyond their heavy bones, but did so paradoxically through the medium of 
their bodily sensorium, into images that contained them and were contained 
by them. 

“Always the same and never the same”: SOPHIE’s Beckettian hyper pop 
song lyrics cited at the beginning of this essay describe bodies that long to 
suspend themselves into immateriality. Repudiating legs, hair, genes, and 
blood, the song manages to invoke nothing more than a calling forth of these 
massless bodies’ legs, hair, genes, and blood, sung and danced into the here 
and now.?7 A dissolution and a reconstitution, a relationship of mutual cross- 
identification (“You could be me and I could be you”): this is what Haraway 
terms “the promises of monsters,” and Sandy Stone elaborates as the “physicali- 
ties of constantly shifting figure and ground that exceed the frame of any pos- 
sible representation.”?® A movement towards internal dissonance and tension 
that “produce[s] not an irreducible alterity but a myriad of alterities,”°? the 
queered experience of an optical system that is generated by way of the virtual. 


54 Wheatstone, for example, experimented with the so-called pseudoscope, which swapped 
the left and right images of the stereograph to the effect of inverting spatial impression: 
a concave depression would appear as a convex mound and vice versa. David Brewster 
was offended by these distortions of what he valued as an ‘accurate representation of 
nature’ into a ‘monstrous representations of humanity, which no eye and no pair of eyes 
ever saw or can see’. Brewster, quoted from Hankins and Silverman, Instruments and the 
Imagination, p. 158. 

55 Crary, “Techniques of the Observer,’ p. 91. 

56 SOPHIE, lyrics, “Immaterial.” 

57 Along with the heaviness of the ultimate absence of the artist herself, who died in a tragic 
accident in Athens in early 2021. 

58 Stone, “The Empire Strikes Back,” n.p. 

59 Ibid. 
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In our time of techno-optical transgression into the virtual, "in which multi- 
plicity and prosthetic social communication are common,” we may encoun- 
ter a digital diaspora where bodies “have no single destination but rather take 
on a distributed nature, fluidly occupying many beings, many places, all at 
once.’6! And especially as the distinctions between either side of the divide 
(real / virtual or analogue / digital) fade, and as the media of virtuality per- 
vade the side-lined concept of the ‘real’ (to which at any rate there is no more 
return), the “si(gh)ting device,’®* the interface itself, the place, time, and 
medium of the crossing or transgression, comes into focus. 
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Spacetime-Craft: An Archaeology of Visions and 
Explorations of Spatial Experience 


Constantinos Miltiadis 


Introduction 


The reappearance of virtual reality (VR) as a viable technology in the 2010s 
reignited interest into applications and research investigations in the fields 
of art, design and architecture. However, addressing VR from a contemporary 
standpoint, assuming current technological capacities and imaginaries, pres- 
ents a crucial deficit. With spacetime-craft, the present contribution intends to 
integrate VR within a continuum concerned with the interrogation of space 
itself as a malleable entity and the experimental exploration, production and 
experience of spatiotemporal alterities. Observed in a diverse set of instances, 
this approach is distinct from what we can refer to as ‘traditional design’ con- 
cerned with design as production of objects for and within a ‘given’ under- 
standing of space. Spacetime-craft, instead, refers to the practical investigation 
of notions of space and time themselves, through the experimentation and 
speculation with technical, conceptual, perceptual, epistemological and aes- 
thetic boundaries, for the production of novel experienceable spatiotemporal 
scenarios. 

Such efforts can be observed to closely follow advances in modern sciences 
and mathematics, and amplify with the advent of digital technologies and VR 
in the late twentieth century. However, contrary to science proper, concerned 
with the intelligible and the abstract, these investigations suggest an altogether 
different kind of engagement with space focused primarily on the sensible and 
pursued through modes of practice that entail craftmanship. Spacetime-craft, 
thus, concerns efforts to investigate spatial concepts experientially and affec- 
tively, foregrounding the capacity of craft and artistry to explore and reveal 
latent aesthetic qualities at the cognitive and perceptual limits of the human 
body. 

The following does not aim to provide a complete or coherent history, but 
rather to trace a particular fascination with space and experience in the wider 
context of the arts, and to follow its evolution through time, across domains 
and bodies of knowledge. On the one hand, the construct of spacetime-craft 
intends to provide a resource to inform similar contemporary investigations 
by assembling precedents as a form of heritage. On the other, it underlines a 
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mode of investigation complementary to that of science and inherent in artis- 
tic practices, which involves making and relies on the “revelatory”! potential of 
the arts to bring forth concepts through affective aesthetic experience. 


Space as a Malleable Entity 


The question of space has been central in Western culture, and to its scientific 
revolutions.” New theories of space, such as that of Newton in the seventeenth 
century, came to modernise ways of doing science as well as ways of thinking. 
However, updating from previously held truths to modern ones was a much 
more complex task than the mere renewal of tools, since their repercussions 
were not just scientific or epistemological, but also ontological and existential. 
New concepts of space, as Margaret Wertheim argued, “[impact] our sense of 
not merely where we are but of what we are”.3 Investigations of the ‘substance’ 
of space were met with friction not only because of existing practiced conven- 
tions or their inherent complexity, but primarily because they aimed to recon- 
figure the world and the human at large. 

Such an event took place during the nineteenth century, when Euclidean 
geometry was dethroned as the one and only mode of space. The invention 
of Hyperbolic geometry by Janos Bolyai and Nikolai Lobachevsky (in 1832 and 
1829, respectively) initially, and the formalisation and generalisation of non- 
Euclidean geometry by Bernhard Riemann‘ soon after, showed alternative 
and consistent notions of space bypassing Euclid’s ‘parallel postulate’ — which 
troubled mathematicians for two millennia. Here too, the repercussions of 
such advancements were not just mathematical, since Euclidean geometry 
was furthermore associated with Newtonian cosmology as well as Cartesian 
and Kantian philosophies. What these showed was that Euclid’s was just but 
one instance of a greater universe of viable geometries and modes of spatial 
thinking. 

Riemann’s model in particular proposed something more of a toolbox where 
space itself was a synthetic object instead of an a priori definition. Riemannian 
manifolds are constructed on demand by adding dimensions, of any number, 
either quantitative (metric) or even qualitative. More importantly, unlike 
Euclidean/Cartesian/Absolute models, such spaces are not defined externally 


Xenakis, Arts-Sciences, Alloys, p. 4. 
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and globally, by an origin point that serves as an objective reference, but rather 
intrinsically and locally, through the differential comparison of equally subjec- 
tive positions that reside on their own frames of reference. Thus, Riemannian 
space is relative, instead of absolute, and generalisable to n-dimensions. 

Unconstrained by the two dimensions of paper or the three dimensions of 
visual space, manifolds paved the way for the generalisation of spatial thinking 
and modelling, allowing notions such as ‘colour-space’ but also the constitu- 
tion of more complex, curved, and non-uniform spaces. Case in point, the later 
application of a four-dimensional manifold to account for spacetime in the 
theory of relativity (ToR; 1905, 1915), on the one hand nullified space and time 
as distinct categories of the physical world, while on the other exemplified — 
through paradoxes - the properties of such a model. By rendering space as 
a generalised tool-concept, these advancements were nothing short of revo- 
lutionary, impacting philosophy and epistemology as well as the arts. As 
Henderson writes: 


The philosophical impact of non-Euclidean geometry in the nineteenth century 
was far greater than simply its initial challenge to Kant. It substantially shook the 
foundations of mathematics and science, branches of learning that for two thou- 
sand years had depended on the truth of Euclid’s axioms. As a result, optimistic 
belief in man’s ability to acquire absolute truth gradually gave way during the 
later nineteenth century to a recognition of the relativity of knowledge. [It con- 
tributed substantially] to the demise of traditional positivism. For certain artists 
in the early twentieth century, non-Euclidean geometry was to be synonymous 
with the rejection of tradition and even with revolution.® 


This fundamental shift in the conception of space in mathematics was fol- 
lowed by a rather wide interest in the subject. Already by the late nineteenth 
century a series of theoretical works applied spatial thinking to questions con- 
cerning the underlying dimensionality and structure of physical space, while a 
higher-dimensional spatial intuition was seen as a means to challenge human 
intellect, imagination and eventually consciousness. Four-space was a major 
condenser for this period on both fronts: as a means to extend human intu- 
ition beyond the habitual three-space as well as speculation on a fourth elusive 
dimension of the actual world. Among notable contributors, Charles Howard 
Hinton, a mathematician and inventor of the tesseract (4D cube), discussed 
philosophical aspects of the fourth dimension advocating for a 4D mode of 
thinking as “a new era of thought” and the next step to spatial intuition.® In 
the same genre, the mathematically informed novel Flatland introduced such 


5 Henderson, The Fourth Dimension and Non-Euclidean Geometry in Modern Art, p. 18. 
6 Hinton, A New Era of Thought, p. 86. 
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matters to popular culture, demonstrating the limits of perception and cogni- 
tion in regard to the dimensions of space through a playful narrative set in a 
flat space.’ 

By the end of the century works of “hyperspace philosophy” had elabo- 
rated on “philosophical, mystical, and pseudoscientific implications”? of the 
fourth dimension, making their way into the arts. The esoteric philosophy of 
P.D. Ouspensky? in the early twentieth century was particularly significant 
for the Russian avant-garde. Building on Hinton’s work, he saw the fourth 
dimension linked to the psychic rather than the physical world, discussing 
higher dimensional spaces as key to the expansion of consciousness, which 
he deemed achievable through the affective power of art to reveal such ideas 
to the senses.!° Given the additional ‘revolutionary’ connotation of new geom- 
etries, such concepts of space resonated deeply with modern art movements 
of the early twentieth century, such as Cubism, De Stijl, Russian Futurism, and 
Suprematism.” 

A parallel event concurrent to revolutions regarding the concept of space 
was an epistemological shift concerned with experiential and embodied forms 
of knowing which emerged in German-speaking education reforms in the lat- 
ter half of the nineteenth century. “Kinaesthetic knowing, as Zeynep Çelik 
Alexander termed the project,!? explored an alternative non-discursive episte- 
mology centred on the body and its movement in space, instead of the mind, 
that was distinct and superior from traditional scholarly forms of intelligence, 
knowledge and logic as well as analytical and verbal faculties. The embod- 
ied form of consciousness proposed by kinaesthetics championed a mode of 
knowing (kennen; knowhow) in the model of aesthetic inductive reasoning 
observed in the arts; accumulative by past experiences and akin to aesthetic 
cultivation. 


7 Abbott, Flatland. 

8 Henderson, The Fourth Dimension and Non-Euclidean Geometry in Modern Art, pp. 112, 
142. For a spiritual interpretation of the fourth dimension see the work of Claude Fayette 
Bragdon (A Primer of Higher Space). For the context of mathematics see the elaboration 
of philosophical consequences of “metageometry” by Bertrand Russell (An Essay on the 
Foundations of Geometry), and Cassius J. Keyser’s discussion of manifolds as “mathemati- 
cal emancipation” and a concept “commensurate with [...] being itself” (“Mathematical 
Emancipations. The Passing of the Point and the Number Three.”). 

9 Ouspensky, Tertium Organum. 

10 Henderson, The Fourth Dimension and Non-Euclidean Geometry in Modern Art, pp. 380-383. 

11 Henderson, “The Merging of Time and Space.” 

12 Çelik Alexander, Kinaesthetic Knowing, pp. 10-12. 
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Not only did this pedagogical model resonate with early twentieth century 
(German) design and architecture schools, but it was in such environments 
that it was exemplified and most celebrated as a means of uniting conceptual, 
experiential and practical means of investigation.!? Notably, for the Bauhaus 
under Walter Gropius (1919-1928), kinaesthetics served as the cornerstone of 
its education qua cultivation, where teachers and students were preoccupied 
with the affective study of form implementing techniques and methods of psy- 
chophysics (the scientific basis of kinaesthetics) for their inquiries.!* The ques- 
tion of space was at the core of this effort to create a ‘science of design, which, 
abstracted from its associations to building, served as the nexus of Bauhaus 
epistemology.!? While the kinaesthetic project itself faded out soon after, 
through the lasting influence of schools like the Bauhaus on design education, 
its sediments are still present today in architecture and design epistemology. 

The nineteenth-century paradigm shift in mathematical geometry brought 
about the liberation of space at large from its prior univocal nature and fixity 
on Euclidean principles. The period that followed saw a lively appropriation of 
spatial concepts and modes of thinking in a wide set of domains. Such early 
efforts exemplified space, in its new unencumbered form, as a much more 
potent entity and frame of reference capable to bridge the conceptual and 
experiential alike. 


Spatiotemporality in the Arts 


For the history of space, the next milestone was the publication and popu- 
larisation of Einstein's ToR. Whereas the discovery of non-Euclidean geometry 
brought about a disruption to epistemological and philosophical traditions by 
virtue of their association to antiquated concepts of space, the ToR concre- 
tised, or better, naturalised such notions of ‘space’ as actual. In the arts as well, 
it curtailed speculations about a spatial fourth dimension and the structure of 
space at large, grounding the concept onto — the manifold of - spacetime.!® 

El Lissitzky was among the first artists to explore this modern science 
through his investigation of pictorial and architectural space in his Proun 


13 Ibid., pp. 176, 185. 

14 Ibid., p. 174. 

15 Ibid., pp. 186, 192. 

16 Henderson, “The Merging of Time and Space.” 
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studies initiated in 1919.!7 Embracing relativistic spacetime that he viewed as 
insurmountable, he criticized his Suprematist colleagues as less scientifically 
rigorous, and pursued instead the integration of space and time through the 
use of technology (i.e. long-exposure photography of moving objects) that 
could afford an “immaterial materiality” for the production of an “imaginary 
space.” Moreover, he declared the pursuit of higher-dimensional spaces cat- 
egorically futile given the limitations of the human perceptive and cognitive 
faculties as well as the affordances of current technology: 


[...] multi-dimensional spaces existing mathematically cannot be conceived, 
cannot be represented, and indeed cannot be materialized. We can change only 
the form of our physical space, but not its structure, its three-dimensional prop- 
erty. We cannot really alter the measure of curvature in our space [...] Only the 
fata morgana can simulate this.!8 


Indeed, technology, not vision, was the main deficit for the arts of the twentieth 
century. The next paradigm shift of digital technologies that would allow the 
simulation of illusory worlds that Lissitzky foresaw was a few decades ahead. 
Nevertheless, the interim period that ensued was marked by efforts to produce 
new forms of architecture and music to apprehend the qualities of the space- 
time continuum through the convergence of spatial and temporal aesthetics. 
Among unique examples in architecture! is the Oblique Function, a theory 
put forth by Architecture Principe (Paul Virilio & Claude Parent, 1963-1968). It 
envisioned an architecture in space and time, liberated by the verticality and 
horizontality enforced by the force of gravity, and by Euclidean forms at large.2° 
Using instead oblique planes and curved surfaces to “exploit the full potential 
of space,” it sought to induce proprioceptive instability through unconven- 
tional spatial situations that encouraged a sensual relationship with archi- 
tectural qualities and a “constant awareness of gravity”.2? Through embodied 


17 Debelius, “El-Lissitzky, Irrational Space, and the Proun Studies”; Henderson, The Fourth 
Dimension and Non-Euclidean Geometry in Modern Art, p. 427. 

18 Lissitzky, “A. And Pangeometry, El Lissitzky, 1925.’ 

19 See also the work of Frederick Kiesler who, since 1939, developed a research programme 
for the investigation of embodiment and temporality and the design of spatial continua 
he termed “endless space” in Kiesler (“On Correalism and Biotechnique”) and Phillips 
(“Toward a Research Practice.”). See also the built work of Madeline Gins and Shisaku 
Arakawa, who explored unconventional proprioceptive conditions, and their discussion 
of the transformative potential of embodied architectural poetics (Architectural Body). 

20 Redhead, “Toward a Theory of Critical Modernity.” 

2ı Paul Virilio, “Architecture Principe 1, 3” (1966) in Johnston, The Function of the Oblique, 
p. 71. 

22 Jacques Lacan in Johnston, The Function of the Oblique, p. 5. 
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spatial experience, its authors saw the Oblique Function as a method to estab- 
lish a new way of thinking and even more so to induce states of mind and 
consciousness.?3 

Although Architecture Principe disbanded before materializing its visions, 
its theories became a primary influence much later to Lars Spuybroek, exem- 
plified in the design of the HtwoOexpo pavilion (NOX Architects, 1997). As per 
the Oblique Function, the pavilion was conceived to be “more in time than in 
space,’*4 and designed with curved floors and walls to excite the human body 
through proprioceptive instability. Reminiscent of Riemannian geometry, the 
absence of horizontal and vertical elements or such references demanded of 
the body to find its own self-referential stability within the dynamic environ- 
ment.?5 Similar to Architecture Principe that envisioned a transformative role 
for architectural experience, for Spuybroek, too, the implications of geometry 
were far greater than those of form, noting that “an anti-Cartesian view on 
geometry” followed “an anti-Cartesian view on the body”.26 

The field of music, on the other end, had a technological advantage — that 
allowed for artificial synthesis and reproduction of sound from the middle of 
the twentieth century — offering grounds for its fusion with the spatial domain. 
Already in 1936, Edgar Varèse envisioned the liberation of sound from its strict 
temporal framework through new intuitive instruments that would allow com- 
posing in space. These, he wrote, “will allow me to write music as I conceive 
it?” using sound masses — instead of notes — orchestrated spatially via geo- 
metric and sculptural manipulations into an irreducible whole. Although the 
closest Varése would come to his vision was with Poéme électronique for the 
Philips Pavilion of 1958,28 younger composers, such as Karlheinz Stockhausen 
and Iannis Xenakis, pursued spatiotemporal works further challenging both 
audiences and conventional aesthetic categorization. 


23 Claude Parent, “Architecture Principe 1, 3” (1966) in Johnston, The Function of the Oblique, 
pp. 66-67. 

24  Spuybroek, “SCI-Arc Lecture Series.” 

25 Cf. Spuybroek, Lars Spuybroek, H2Oexpo. 

26 Spuybroek, “SCI-Arc Lecture Series.” 

27 Varèse and Wen-Chung, “The Liberation of Sound,’ p. u. 

28 The piece, which comprised of recorded and electronic sounds, was commissioned by 
Le Corbusier for the Philips Pavilion of the 1958 Brussels World Fair, and was spatialised 
by hundreds of loudspeakers embedded in the walls of the hyperbolic paraboloid struc- 
ture designed by Iannis Xenakis. The pavilion, which was intended to demonstrate 
modern technology through a unification of the arts, consisted of music, lights, moving 
images and architectural space, amounting to a first work of spatiotemporal multimedia 
art (Lombardo et al., “A Virtual-Reality Reconstruction of Poéme Electronique Based on 
Philological Research’.) 
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Stockhausen pursued the incorporation of space in music composition 
which he deemed crucial for producing new kinds of aesthetic experiences, 
and for transforming music at large. Spatial music, for him, could revive the 
neutralized function of space in Western music and introduce a property 
of perspective in musical listening, rendering musical space relativistic.?? 
Additionally to early recorded works,39 in a performance for the 1970 Osaka 
World Fair, he developed a spherical sonic environment that utilized a geo- 
desic dome where sounds were rotated around the audience.*! Investigations 
of space and time are multifaceted in the work of Xenakis,?? and more promi- 
nent in his series of Polytopes: site-specific media installations initiated in 1967 
which pursued the intersection of musical and architectural aesthetics. As in 
Polytope de Cluny (1972), they primarily implemented arrays of loudspeakers 
and coloured strobe lights inside a given empty space, orchestrated by math- 
ematical distributions.?? Building “in light and sound space,”?* Xenakis was 
able to modulate the experience of space and time by superimposing artificial 
and abstract spatiotemporal scenarios onto given spaces. As hybrid conditions, 
these immersive dynamic atmospheres depended less on the physical bound- 
aries and properties of space and more on the perceptual capacities of a virtual 
dimension.?? 

The cases of Xenakis and Stockhausen as well as of Architecture Principe 
and Spuybroek exemplify a shift in the conception of space from its implemen- 
tation as a mere container of form, to the incorporation of a spatiotemporal 
framework as the substrate of experience itself. Following the model of relativ- 
istic spacetime, these works challenged the aesthetic and disciplinary bound- 
aries of their respective practices, producing experiences neither about space 
nor time alone and with any possibility of an ‘objective’ perspective obliter- 
ated. What they materialize instead are sensory-rich environments accessible 
only as subjective experience to an active embodied agency which they require 
from their audience. 


29 Stockhausen, “Four Criteria of Electronic Music”, May 1972; Stockhausen, “Four Criteria of 
Electronic Music,” 1989. 

30 See the spatial audio works Gesang der Jünglinge (1958), and Kontakte (1960). 

31 Emmerson, Living Electronic Music, p. 158. 

32 Solomos, “The Complexity of Xenakis’s Notion of Space”; Sterken, “Music as an Art of 
Space.” 

33  Matossian, Xenakis, pp. 259-277. 

34 Sterken, “Towards a Space-Time Art,” p. 270. 

35 Oswalt, “Iannis Xenakis’ Polytopes.” 
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The emergence of VR in the late twentieth century offered new plateaus for 
spatiotemporal experimentation and the exploration of the human sensorium, 
bringing full circle matters of space and embodiment. Like Lissitzky antici- 
pated, the new technology was envisioned as a substrate to conceive, mate- 
rialize and render perceivable experiences beyond what was possible in the 
physical world. However, while computing afforded great capacities for imagi- 
nation, these were essentially theoretical since the medium did not carry any 
inherent definition of space. Computer space, thus, had to be imagined. Given 
the lack of precedents and in the face of unparalleled capacities, speculation 
entangled both fact and fiction inasmuch as to generate a mythology that sur- 
rounded the technology. For VR in the twentieth century myth was an intimate 
counterpart, with an active role in its allusion to a “digital sublime,”** offering a 
glimpse of what was soon to come, while smoothening current technical short- 
comings. Furthermore, from a contemporary point of view, and in the absence 
of systematic efforts to preserve work from this wave of VR that ended by the 
turn of the century, such discourses provide a sediment for understanding that 
period and its visions of technology. 

Mythic visions of VR can be observed to precede and interweave with the 
actual technology. Already in 1965, three years before his invention of the first 
head-mounted display (the predecessor to VR technology), Ivan E. Sutherland 
described an “ultimate display” that was “a room within which the computer 
can control the existence of matter”.37 However, his vision was not after real- 
ism, but rather an affective technology that could serve as a tunnel to a fictional 
dimension. “With appropriate programming,” he proclaimed, “such a display 
could literally be the Wonderland into which Alice walked”.38 Cyberpunk lit- 
erature and videogames are two other domains of fiction that contributed in 
shaping VR. The dominant paradigm for VR came through William Gibson's 
1984 novel Neuromancer popularizing the neology “cyberspace” which became 
the de-facto term for the technology - until it grew synonymous with the inter- 
net and was replaced by the later term “virtual reality”. Similar to the function 
of “metaverse”? in current discussions, “cyberspace” served as a condenser 
of speculations pointing to Gibson’s portrayal of a collective “consensual 


36 Mosco, The Digital Sublime, pp. 21-29. 

37 Sutherland, “The Ultimate Display,’ pp. 507-508. 
38 Ibid. 

39 Neology introduced by Stephenson (Snow Crash). 
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hallucination”.+9 Part of the same continuum, the videogame phenomenon 
was already driving a similar vision capitalizing on early computer graphics 
and pre-internet networks.*! As Sherry Turkle wrote the same year, video- 
games offered a glimpse into the specificity of computational aesthetics as well 
as “a new kind of intimacy with machines”.?? Furthermore, the financial crash 
of the videogame industry in the same period (1983-85) expediated the emer- 
gence of VR, as a number of videogame developers and researchers who left 
Atari then, became pioneers of VR soon after.*3 

VR entered the public sphere in 1987, described as the new paradigm for 
immersive computer interaction and as a fascinating vehicle to create and 
embody “artificial realities”.** However, at the time it was largely accessible 
to industrial and research applications only. Among the first to invest in the 
technology was the CAD software company Autodesk which spearheaded the 
effort of developing affordable VR systems for the masses. In a seminal 1988 
memo that cited both science and fiction, its co-founder and president urged 
the company to take a leading role in the development of ‘cyberspace’ (i.e. VR), 
which he discussed as a step beyond user interfaces and into illusionistic 3D 
interactive experiences. The memo was titled “Through the Looking Glass” — 
alluding to Sutherland’s reference to the world of Alice - and concluded with: 
“Cyberspace. Reality isn't enough any more”.45 The same year Autodesk estab- 
lished Project Cyberia to pursue that vision. Although most of its members left 
by the end of 1989, in this short period the team broke new ground producing 
a working prototype and applications that proved affordable VR was indeed 
possible.4® Though, what they soon discovered was that however astonish- 
ing the capacities and freedoms of the virtual were, the practical limits of its 


40 Gibson, Neuromancer, 51. 

41 Foran example of an online virtual world see the 1985 videogame Habitat by Lucas Arts 
discussed by Morningstar and Farmer (“The Lessons of Lucasfilm’s Habitat”) 

42 Turkle, “Video Games and Computer Holding Power,” p. 501. 

43 These include Thomas Zimmerman and Jaron Lanier (co-founders of VPL Research), 
Brenda Laurel (co-founder of Telepresence Research with Scott Fisher), William Bricken 
(Autodesk Cyberia), and (VR researchers) Michael Naimark and David Levitt. 

44 Foley, “Interfaces for Advanced Computing.’ 

45 Fora reprint of the memo see Walker (The Autodesk File, pp. 439-452), and https://www. 
fourmilab.ch/autofile/e5/?chapter=chapter2_69. Although the memo was intended for 
internal use only, it soon circulated outside the company becoming an influential docu- 
ment for VR at the time. See Cohen, “Virtual Evolution,” p. 18, Rheingold, Virtual Reality, 
pp. 181-185, and Pimentel and Teixeira, Virtual Reality, p. 56. 

46 For a discussion of the Cyberia Project and its impact see Cohen, “Virtual Evolution,’ 
pp. 18-59. Additionally to hardware prototypes the team developed the exergame pre- 
decessors HighCycle and Virtual Racquetball, cycling and tennis VR simulations. See 
Pimentel and Teixeira, Virtual Reality, pp. 57-58, and Krueger, Artificial Reality II, 2, p. 242. 
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experience were set by the tolerances of the human perceptive apparatus. As 
Meredith Bricken discussed in a 1989 presentation, actual virtual reality lay at 
the intersection between technological and human capacities: 


[Cyberspace] takes [our] perceptual apparatus and gives it an entirely new 
frame of reference with an entirely new set of rules [...]. Movement is something 
we have to consider in terms of joining what we know how to perceive with this 
great freedom of cyberspace, and that means constraining things [...]. What we 
are doing now is taking these marvelous freedoms and learning how to merge 
those with what we are really physically capable of perceiving without total con- 
fusion to our system.*” 


The intersection between the technologically and perceptually possible that 
Bricken described was not a simple technicality to solve, but a question of 
interpretation key to the specificity of the medium and its metaphysical aspi- 
rations. The matter lay beyond balancing digital stimuli with habitual percep- 
tion to achieve the illusion of realism. Rather, it was a question of tapping into 
a ‘golden section’ between the two for the exploration of the human sensorium 
through technology. In its most exaggerated version — for the Californian region 
that was the epicenter of VR development at the time - that intersection was 
nothing less than a transcendental gateway for the expansion of conscious- 
ness.*8 In the decade that followed, multiple investigations into the matter of 
technological embodiment offered scientific, theoretical and philosophical 
interpretations and aspirations, but no definitive answer as to the nature of 
that intersection. Even science-fiction speculations contributed to such dis- 
courses with a notable case being the CyberTron (fig. 10.1), a gyroscopic VR 
format directly inspired by the film The Lawnmower Man (1992), that afforded 
3-axis rotations in virtual and physical space.*? 


Autodesk only released one VR product much later, the Cyberspace Developer Kit in 1993, 
that was met with limited success. 

47 Meredith Bricken in Forbes (“Cyberspace’, 36:10’—39:00’). 

48 Davis, who studied closely that culture, noted: “A psychedelic, do-it-yourself spiritual- 
ity directly feeds the more utopian elements of this northern California subculture of 
VR designers, computer artists, and computer programmers, whose forums include The 
Whole Earth Review, Mondo 2000, and the WELL [...]. For many of these folks, computers 
are the latest and among the greatest tools available for the achievement of the Aquarian 
goal: the expansion of consciousness by whatever means necessary” (“Techgnosis, Magic, 
Memory, and the Angels of Information’, p. 55). 

49  CyberTron allowed 45-degree rotations about each axis — in physical space. Of about 
25 units produced, two were installed at Disney World in Orlando between 1993 and 1995. 
Tony Asch (StrayLight Corp. founder), conversation with the author, October u, 2021. 
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Fig. 10.1 CyberTron (1992), a VR format developed by 
StrayLight Corp., was directly inspired by the film 
The Lawnmower Man (1992). 


An additional mode of research we can discuss as virtual spacetime-craft is 
when the centrefold between technology and experience is subjected to prac- 
tical and artistic means of inquiry. This method puts into trial computational 
and perceptive affordances to reveal and explore an expanded area of both 
technical and aesthetic possibilities. Here, vision, technology, science, design 
and aesthetics all come together to inform practices of crafting technologi- 
cal spatiotemporal environments as well as means of embodiment, with one 
serving as the means to interrogate the other. Such modes of investigation are 
exemplified by Marcos Novak and Char Davies, who saw VR as a poetic instru- 
ment able to evoke latent aesthetic and even conceptual capacities through 
the embodied experience of novel spatiotemporal scenarios.°° 

Davies’ piece Osmose (ca. 1996) was one of the first examples of VR art. It 
orchestrated a series of interconnected spatiotemporal scenarios, each with 
its own visual and sonic character as well as laws of physics, where users navi- 
gated by means of breathing.*! In her written work, Davies discussed VR as 


50 Cf. Nelson, “From Sfumato to Transarchitectures and ‘Osmose’” 
51 Immersence, "Osmose (1995) — Mini-documentary”; Davies and Harrison, “Osmose.” 
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a philosophical medium; a spatiotemporal arena for exploring metaphors of 
being in the world while abstracting from habitual modes of perception,?? 
and a means of perceptual expansion through the kinaesthetic exploration 
of ideas expressed spatially.5? In parallel, the work of Novak throughout the 
decade marked a series of seminal contributions in the apprehension of VR, 
spanning non-Euclidean geometry, navigable music, and higher-dimensional 
forms. Although his artistic work is not preserved, his elaborations of “liquid 
architecture,” “trans-architecture”®> and “archimusic,’>® positioned VR as a 
new epistemological paradigm for the arts:5” a “reconvergence of art, science, 
and technology into techne, ‘a single manifold revealing”.58 Subsuming music 
and architecture, for Novak the medium signified a new form of poetics and an 
instrument concerned with the pursuit of an “edge of thought”®? through the 
investigation of spatiality and embodiment. 

Regardless of the growing interest in the exploration of virtual space and 
experience, these come to a definitive halt by the end of the decade. On the 
one hand, contrary to its initial aspirations, computational space was taken 
up by a colonial attitude towards the “new world” of cyberspace that ratified 
the spatially and philosophically obsolete Cartesian paradigm that it had set 
out to overthrow — which is inherited in contemporary design systems and 
videogame engines, t00.6° On the other, VR was put to rest as a technology for 
a later time, bringing to a close a brief and intense chapter of technological 
speculations. 


Conclusion 


As a brief syllabus and selective archaeology, this series of examples demon- 
strates a persistent fascination with spatiality in Western culture following 
the emancipation of mathematical space in the nineteenth century. Across 
domains and practices, it outlined subsequent episodes in the apprehension of 


52 Davies, “Virtual Space.” 

53 Davies, “Changing Space.” 

54 Novak, “Liquid Architectures in Cyberspace.” 

55 Novak, “Trans-Architecture.” 

56 Novak, “Dancing with the Virtual Dervish.” 

57 Novak, “Automated Writing, Automatic Writing.” 

58 Novak, “TransArchitecture: Building the Edge of Thought.” 

59 Novak, “Trans-Architecture.” 

60 Cf. Chesher, “Colonizing Virtual Reality. Construction of the Discourse of Virtual Reality, 
1984-1992”; Penny, “Virtual Reality as the Completion of the Enlightenment Project”; 
Gunkel and Gunkel, “Virtual Geographies.” 
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space as an epistemological frame of thinking, and as a substrate of experience. 
This assembly of precedents frames spacetime-craft as a mode of investigation 
observed in artistic practices concerned with the poetic interpretation of spa- 
tial concepts and their exploration as aesthetic experience. Such approaches 
intensified in the late twentieth century, especially in discourses around VR in 
its first and brief appearance when the medium was envisioned as an arena 
for the exploration of spatiotemporal environments in tandem with embodied 
consciousness. From a contemporary viewpoint, this heritage forms a resource 
for reconsidering technology as an instrument that can unite the conceptual 
and the experiential into a poetic tool for intimate aesthetic explorations. 
Especially for contemporary VR, which is markedly different in vision, though 
much more capable as technology (albeit impoverished when it comes to its 
implementation of space), its twentieth-century antecedent serves to remind 
of modes of artistic engagement invested in revealing the rich universe of spa- 
tial possibilities latent in the medium. 
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Das Echo der Bilder in der Tiefe des Raums 


Historische und heutige Blicke auf virtuelle Bildräume 


Kassandra Nakas 


„When I enter virtual reality, what body will I leave behind?“, fragte die Archi- 
tektur- und Stadttheoretikerin Karen A. Franck im Jahr 1995 mit Blick auf die 
damals relativ neuen und vieldiskutierten digitalen Bildtechniken der Virtuel- 
len Realität: ‚Wenn ich in die virtuelle Realität eintrete, welchen Körper lasse 
ich dann zurück?“ Ihr Aufsatz erschien in der Zeitschrift Architectural Design, 
die unter dem Themenschwerpunkt „Architects in Cyberspace“ hauptsächlich 
die gestalterischen Potenziale computerbasierten Entwerfens erkundete.!In 
Francks kurzem Beitrag sind wie unter einem Brennglas die bis heute viru- 
lenten gesellschaftlichen, körperlichen und wahrnehmungspsychologischen 
Implikationen der neuen Technologie angesprochen: die Frage, wie sie die 
Körper- und Raumwahrnehmung ihrer Nutzer:innen verändern und welche 
Rolle sie künftig im sozialen Miteinander spielen werde; ob beziehungs- 
weise wie ihre Potenziale von Männern und Frauen unterschiedlich erfahren, 
genutzt und interpretiert würden. 

Der digital gender divide äußerte sich in der feministischen Hoffnung auf 
einen „geschlechtsfreien Bereich der Kommunikation und Interaktion“? 
Franck hielt zudem an der leiblichen Dimension der Raumerfahrung im Virtu- 
ellen fest. Im Gegensatz zur Abwertung des Körpers in der maßstabsetzenden 
Science-Fiction-Literatur (etwa in William Gibsons Neuromancer, 1984), die 
im damaligen Architekturdiskurs Resonanz fand, beschrieb Franck die VR- 
Erfahrung als „sehr physisch“: es galt, virtuelle Bilder „mit dem ganzen Kör- 
per zu besetzen“. Realphysische und virtuelle Räume wurden in den meisten 
Bewertungen als strikt getrennte Sphären ohne Kontinuität gedacht, was dem 
digitalen Raum eskapistische Qualitäten verlieh, die nicht selten die Grund- 
lage übersteigerter Freiheitsgefühle, ja von Allmachtsphantasien bildeten (in 
fiktionalisierter Form etwa in dem skurrilen Science-Fiction-Film Der Rasen- 
mähermann von Brett Leonard, USA 1992). Wenn sie im Titel ihres Aufsatzes 
die Möglichkeit eines ‚Körper-Wechsels‘ suggerierte — das Hinter-sich-Lassen 


ı Franck. ‚When I Enter Virtual Reality“. (Übersetzungen stammen, soweit nicht anders 
angegeben, von der Autorin.) 

2 Ebd, S. 22. 

3 Ebd, S. 20. 
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des realphysischen Leibes zugunsten eines zweiten Körpers im Virtuellen — 
plädierte Franck zugleich dafür, diese Übergangszonen als durchlässig und 
veränderlich zu betrachten. Somit könnten womöglich die Modi der Konnek- 
tivität und Intimität, die die virtuellen Welten bereithielten, sozial produktiv 
genutzt werden: Sie würden so zu potenziellen Räumen der Empathie.* 

Karen Francks Beitrag in einem Fachjournal, das die Versprechen digi- 
taler Bildwelten aus primär entwurfstechnischem Blickwinkel beleuchtete, 
ist bemerkenswert, weil er die emotionalen und kognitiven Dimensionen 
der virtuellen Raumerfahrung fokussierte. An die Stelle der technologischen 
Bestimmung trat die Betrachtung der Raumqualitäten, mithin die mediale 
Dimension des virtuellen Raumgefüges. Virtuelle Welten konnten aus dieser 
Perspektive als eine „vermittelnde Instanz“ auftreten, welche „neue Wahr- 
nehmungsdispositionen von Raum schafft“ und damit ein wirklichkeitsver- 
änderndes Potenzial zu entfalten vermag, wie es Mario Doulis, Doris Agotai und 
Hans Peter Wyss mit Blick auf heutige Gestaltungsansätze formuliert haben.? 
In ihrer Kritik an der technoeuphorischen Abwertung leiblicher Erfahrungs- 
werte hatte Franck in den ıgg0er Jahren prominente Mitstreiterinnen. Die 
kulturelle Strahlkraft fiktionaler Stoffe wie Neuromancer sowie das wieder- 
erwachte Interesse an der Geschichte der Kybernetik veranlassten auch 
die Literaturwissenschaftlerin N. Katherine Hayles zu ihrer wirkmächtigen 
Zurückweisung einer Theorie der Entkörperlichung (disembodiment), die den 
Leib in der Mensch-Maschine-Interaktion als entmaterialisierte Datenmenge 
konzeptualisierte.® Zur gleichen Zeit wandte sich die feministische Theore- 
tikerin Elizabeth Grosz den Folgen der virtuellen Raumerweiterung für die 
architektonische Praxis zu. Grosz erwartete sich durch deren technologische 
Implementierung in die Entwurfs- und Baupraxis eine ‚völlig neue Art, Raum 
zu sehen, zu bewohnen und zu gestalten“.? Diese Sichtweise begreift den virtu- 
ellen Raum wiederum nicht als klar begrenzbares, abtrennbares Feld, sondern 
sieht ihn in einem komplexen Verhältnis der Verschachtelung und wechsel- 
seitigen Einbettung zum realphysischen Raum. Der Körper ist demzufolge 
nicht losgelöst vom Raum zu betrachten, sondern die Raumgestaltung steht 
im Dienst einer „Simulation, Reproduktion, Erweiterung oder Vergrößerung 
der Sinne und der Materialität“.® 

Ungeachtet dieser frühen architekturtheoretischen Problematisierungen 
des Verhältnisses von Raumgestaltung, Raumdarstellung und menschlichem 


Vgl. ebd., S. 22. 
Doulis et al., „Spatial Interface“, S. 60. 
Hayles, How We Became Posthuman. 
Grosz, „Cyberspace, Virtuality and the Real“, S. 89. 
Ebd., S. 86. 
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Körper steckt die Auseinandersetzung mit virtueller Raum-Bildlichkeit in 
der architektonischen Praxis noch weitgehend in den Kinderschuhen; einige 
aktuelle Ansätze sind Gegenstand der vorliegenden Publikation. Während- 
dessen bietet die bildende Kunst ein breites Spektrum an experimentellen 
Arbeiten, die die Trias von Raum, Bild und Körper in virtuellen Erfahrungs- 
welten zum Gegenstand machen, wovon ferner die zuletzt wachsende Zahl 
an Ausstellungen von VR-basierter Medienkunst zeugt.? Im Folgenden soll 
die Rauminstallation Image Technology Echoes (2020/21) der Australierin 
Lauren Moffatt näher vorgestellt werden, die die genannten Kategorien auf 
vielschichtige Art verhandelt.!° Sie weist eine Verschachtelung dreier Raum- 
ebenen auf, durch welche die Besucher:innen aus dem Ausstellungsraum über 
einen virtuellen Museumsraum in den jeweils subjektiven ‚Innenraum‘ zweier 
virtueller Protagonist:innen gelangen. Die erste Ebene besteht dabei aus einer 
herkömmlichen, wenn auch sparsam inszenierten realphysischen Installation: 
Hier finden sich eher versatzstückartig einige Gemälde an den Wänden, pro- 
jizierte sowie auf einem Leuchttisch platzierte Dutzende Kleinbilddias mit 
gemalten Motiven (Landschaften, Gesichtern, Tieren), eine Zwischenwand mit 
flächendeckender Kohlezeichnung sowie zwei großen Papierbögen, auf denen 
wie von Kinderhand krakelige Buchstaben geschrieben sind (Abb. 1.1). Auf 
einem Tisch in der Ecke schließlich kauert eine weibliche Primatengestalt vor 
einem aufgeklappten Laptop, dessen Display wiederum ein gemaltes Motiv 
zeigt. Auch wenn der Computer keinen visuellen Rückkoppelungseffekt bie- 
tet, erinnert die Konstellation einer sitzenden Gestalt vor bildgebendem Gerät 
entfernt an Nam June Paiks berühmte Video-Installation TV Buddha (1974), die 
in den Anfangszeiten von Video als künstlerischem Medium das Sehen und 
Gesehenwerden, Technologie und Spiritualität thematisierte. 


9 Siehe etwa Schöne neue Welten. Virtuelle Realitäten in der zeitgenössischen Kunst im Zep- 
pelin Museum Friedrichshafen (2017/18) und Mixed Realities. Virtuelle und reale Welten 
in der Kunst im Kunstmuseum Stuttgart (2018). Das Kuratorinnenkollektiv Peer to Space 
realisiert an unterschiedlichen Orten VR-Projekte, die Onlineplattform Radiance fungiert 
als Database. Das Künstlerkollektiv THIS IS FAKE realisiert eigene und kuratierte Aus- 
stellungen zu Kunst mit AR-/VR-Techniken. Zum Beitrag von Clemens Schöll von THIS 
IS FAKE und Ortrun Bargholz siehe S. 201-225 in diesem Band. 

10 Lauren Moffatt, Image Technology Echoes, 2020/21, VR- und Mixed-Media-Installation, 
Maße variabel. Die Arbeit wurde mit dem 2021 erstmals verliehenen VR Kunstpreis der 
DKB (Deutsche Kreditbank) in Kooperation mit CAA (Contemporary Arts Alliance) Ber- 
lin ausgezeichnet, zu dessen Anlass die Ausstellung Resonanz der Realitäten im Berliner 
Haus am Lützowplatz realisiert wurde; es erschien ein Katalog. 

11 Eine Dokumentation der Arbeit findet sich auf der Website der Künstlerin: https://www. 
deptique.net/ongoing/image-technology-echoes. 
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Abb. 11.1 Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstiitzung von The Science Foundation of Ireland. Courtesy J. Pegman. 


Abb. 11.2 Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstiitzung von The Science Foundation of Ireland. Courtesy Lauren Moffatt. 
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Zwischen all den Bildern unterschiedlicher Materialität, die zugleich Spuren 
künstlerischer Arbeit darstellen, liegt ein VR-Headset, mit dessen Hilfe die 
Besucher:innen auf die zweite, virtuelle Raumebene gelangen. Erzählerisch 
passiert hier zunächst wenig: Zwei Personen - ein älterer Mann und eine 
junge Frau - stehen in einem großzügigen Museumsraum vor einem Gemälde, 
das sie, begleitet von gelegentlichen Wortwechseln, in ruhiger Kontempla- 
tion betrachten (Abb. 11.2). Umgeben sind sie von weiteren großformatigen 
Gemälden und Skulpturen, die sich nur durch Lichtspots von dem weitgehend 
in Grau getauchten Saal abheben. Als Betrachter:innen stellen wir uns neben 
das ungleiche Paar, teilen ihre Blickrichtung, können sie aber auch umkreisen 
und ihnen direkt ins Gesicht blicken. Tatsächlich berühren, ja erschrecken 
plötzliche Blickkontakte mit den Gestalten umso mehr, als ihre Physiogno- 
mien fremdartig zwischen Abstraktion und Realismus schwanken. Die Ver- 
zerrung resultiert aus Glitches, die bei der Übertragung der ursprünglich im 
3D-Scanverfahren produzierten Figuren ins Digitale auftraten; die eigenartig 
plastische Qualität verstärkt sich im (virtuellen) Umschreiten der beiden 
Gestalten und verleiht der Begegnung eine deutlich physische Dimension. 
Noch irritierender ist eine abrupt auftretende Verwandlung der Gesichter. Von 
einem Moment zum anderen ist ihnen eine Maske vorgeblendet, in der eine 
VR-Brille mit einer Guckkastenbühne gekreuzt ist (Abb. 11.3 und 11.4). Darin 
erblicken wir die dritte Raumebene, die jeweils als individuelles Zimmer der 
beiden Protagonist:innen gestaltet ist. Durch die weitere, unmittelbare körper- 
liche Annäherung an die Figuren gelingt es den Betrachter:innen, auch diese 
dritte Raumebene zu betreten. Wir befinden uns nunmehr im ‚Kopf‘ (oder 
Bewusstsein) der Figuren und zugleich in eben jenem von ihren individuellen 
Habseligkeiten gekennzeichneten Zimmer (Abb. 11.5). Der Akt des Eintretens 
in diese mentale Sphäre bedeutet aber nicht das Zusammenfließen der Körper: 
Auch auf dieser Ebene sehen wir die Protagonist:innen von außen, blicken 
in ihre ausdrucksstarken Gesichter, folgen ihren Blicken. 

Lauren Moffatt entwirft ein gestaffeltes Raumgefüge, das das verbreitete 
Faszinosum virtueller Erfahrungswelten — die scheinbar unendliche Weite, 
welche die User:innen in alle Richtungen erkunden können - pointiert kon- 
trastiert. Die digitalen Räume sind deutlich begrenzt und unterschiedlich 
charakterisiert: Der glatten Kälte des Museumsraums steht in den subjektiven 
Individualräumen der darauffolgenden Ebene eine zwar auch graue, aber eher 
unordentliche Lebenssphäre gegenüber, die mit Bildern, Fotografien, Büchern 
und Einrichtungsgegenständen angefüllt ist. Wenngleich ihr nun komplett 
alle Farbigkeit entzogen ist, erzeugen die vielfältigen Texturen von dunklen 
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Abb. 11.3 Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstiitzung von The Science Foundation of Ireland. Courtesy Lauren Moffatt. 


Abb. 11.4 Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstiitzung von The Science Foundation of Ireland. Courtesy Lauren Moffatt. 


Wanden, Béden, Bildern etc. eine haptische Wirkung, die sich aber eines ein- 
deutigen Illusionismus enthält. Dabei kommunizieren die Gemälde in der 
dritten Raumebene mit jenen der ersten, realphysischen: Letztere bildeten die 
Vorlage für die virtuellen und wurden von der Künstlerin über einen Zeitraum 


DAS ECHO DER BILDER IN DER TIEFE DES RAUMS 173 


Abb. 11.5 Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstiitzung von The Science Foundation of Ireland. Courtesy Lauren Moffatt. 


von zehn bis fünfzehn Jahren geschaffen.!? Und auch das große Gemälde, das 
die Protagonist:innen im Museumssaal konzentriert betrachten, findet sich in 
verkleinerter Form — ebenfalls mit expressiver Oberflächentextur — im Hier 
und Jetzt des Realraums. Die digital hervorgerufenen Texturen akzentuieren 
umso mehr die unterschiedliche Medialität der vorgestellten Bilder. 

Das Exponat sticht durch seine intensive blaue Farbigkeit aus der atmo- 
sphärischen Monochromie hervor, die es mit den kleineren Bildern im real- 
physischen Raum verbindet. Blau erscheint das große Gemälde jedoch nicht 
im virtuellen Museumsraum, sondern lediglich auf der dritten Erzählebene: 
Aus ihren jeweiligen Zimmern blicken die Protagonist:innen durch eine breite 
Wandöffnung auf das statische Geschehen im Museum, betrachten sich gegen- 
seitig beim Betrachten. Weder in der einen noch der anderen Sphäre verfügt 
das Gemälde allerdings über eine immersive Wirkung. Es ist eine hermetische 
Fläche, die von den Augen abgetastet werden kann, ohne dass sie einen visu- 
ellen Sog entfalten würde. Dabei würde sich das Motiv - eine aufgewühlte 
Seelandschaft - für ein imaginatives Eintauchen ikonografisch durchaus 


12 So die Künstlerin in einem Gespräch mit Tina Sauerländer vom 28.04.2021, geführt anläss- 
lich der Berliner Ausstellung und verfügbar auf dem Youtube-Kanal von Peer to Space. 
Mit dem Rückgriff auf Objekte der realphysischen Welt lässt sich in Moffatts Arbeit jene 
Tendenz zur „Verlebensweltlichung“ des Virtuellen beobachten, die Annette Urban im 
folgenden Beitrag anhand weiterer künstlerischer Beispiele eingehend untersucht. 
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anbieten. Damit stünde es in einer Tradition virtueller Erfahrungsräume, 
die das traditionelle Medium der Malerei mit Techniken der Immersion ver- 
knüpfen und seit den Anfängen digitaler Kunst ungebrochen Konjunktur 
haben. 

Moffatts Installation bricht mit solchen Erwartungen; ihr geht es vielmehr 
um das distanzierte, reflektierte Wahrnehmen von Bildern und Räumen. Das 
realphysische installative Setting mit der bereitliegenden VR-Brille und die 
‚nead-mounted‘ Miniaturräume vor den Stirnen der Protagonist:innen im 
digitalen Ausstellungsraum markieren Momente des Übergangs von einem 
Raum zum anderen, von einem Körper zum anderen. Der Handlungsspiel- 
raum für die User:innen ändert sich indes kaum. In den virtuellen Räumen 
sind wir Zuschauer:iinnen eines nahezu statischen Handlungsverlaufs, der im 
Wesentlichen ein ausdauerndes Sehen beinhaltet. Dabei ändert sich das wahr- 
genommene Bild je nach von uns eingenommener Perspektive sowie nach 
Positionierung der fiktiven Gestalten. Der Mann sieht anderes als die Frau, 
und auch unser Blick wandert hin und her und ist nicht identisch mit ihren 
Sehbewegungen. Dank ihrer Ausstattung mit ‚persönlichen‘ Dingen und ihrer 
einseitig offenen, fensterartigen Raumstruktur sind die individuellen Räume 
durch besondere Komplexität und Anspielungsreichtum gekennzeichnet. 
Es findet eine Analogisierung von innerem, seelischem Erleben der Prota- 
gonistiinnen und Innenräumlichkeit statt - eine konzeptuelle Verknüpfung, 
die ihre Anfänge in der Frühzeit der Psychologie hat. Für die Beschreibung 
seelischer Zustände bediente sich die junge Disziplin räumlicher Metaphern, 
wobei dem Interieur als Ort der ‚Innerlichkeit‘ besondere Bedeutung zukam.!* 
In der Literatur entwickelte sich etwa zeitgleich die narrative Technik des 
inneren Monologs oder Bewusstseinstroms (stream of consciousness), mit- 
tels derer subjektive Wahrnehmungen, Gefühle und Gedanken spontan und 
unvermittelt wiedergegeben werden. 

In Lauren Moffatts Arbeit finden sich solch rohe, ungefilterte Sprach- 
fetzen in den Monologen der Protagonist:innen, die auf der Tonspur wieder- 
gegeben sind, während beide das große Gemälde - oder sich gegenseitig bei 
dessen Betrachtung — anblicken. Dabei handelt es sich nicht um kohärente 
(Selbst-)Gesprache, sondern um bruchstückhafte Sentenzen, die von einer 
künstlichen Intelligenz erzeugt wurden. Sprache schafft hier als Instrument 


13 Siehe als frühes Beispiel etwa Jeremy Gardiners Installation Purbeck light years, 2004, oder 
die im Winter 2021/22 als immersives „Multimedia-Spektakel“ beworbene Ausstellung zu 
Werken Vincent van Goghs: https://van-gogh-experience.com. 

14 Vgl. Lajer-Burcharth und Söntgen, „Introduction: Interiors and Interiority“. 
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der Beschreibung und Analyse keine Verbindlichkeit. Was die beiden im Bild 
sehen und in Worten zu fixieren versuchen, bleibt schwer fassbar, ja unver- 
ständlich. Damit stellt sich letztlich die Frage, wie Bildlichkeit überhaupt in 
Sprache übersetzt werden kann - ein Problem, dem sich die bildwissenschaft- 
liche Hermeneutik auch in historischer Perspektive widmet.!? Dazu passt, dass 
sich die Oberfläche des Bildes von Zeit zu Zeit verändert, ins Schriftliche wech- 
selt und anstelle einer blauen Meeresfläche plötzlich Buchstaben zeigt. 

Überhaupt ist das Innerste der räumlichen Verschachtelung voller Zeichen: 
Die Wände und Böden der Zimmer sind bedeckt mit Zeichnungen, kleinen 
Gemälden, Karten und den erwähnten Krakeleien. Sie konstituieren einen 
eigenen ‚Datenraum‘, der in seiner betonten Materialität in Kontrast zur (ver- 
meintlich) immateriellen Matrix der virtuellen Realität steht. Das Zusam- 
menspiel von Spuren der menschlichen Hand, forcierten Texturen, dunkler 
Atmosphäre und der Dominanz schriftlicher und bildlicher Zeichen erinnert 
an eine andere eindrucksvolle künstlerische VR-Installation, den von Laurie 
Anderson und Hsin-Chien Huang realisierten Chalkroom (2017).16 Die Anlage 
dieses gigantischen Raums voller Text- und Zeichenfragmente in Kreide auf 
schwarzem Grund ist allerdings in einem entscheidenden Punkt verschieden: 
Die weitläufigen Räume werden erst durch die Schriftzeichen konstituiert, 
welche aus dem tiefen Dunkel auftauchen und durch wechselnde Licht- 
quellen erhellt werden. Ohne sich vom Fleck zu bewegen gleiten die User:in- 
nen durch dieses endlose Universum, mal dynamisiert, mal verlangsamt, dabei 
virtuell immense Strecken zurücklegend und große Höhenunterschiede über- 
windend. In Chalkroom wird der dargestellte Bildraum aktiviert und die Kör- 
per der User:innen in einen ununterbrochenen Bewegungsfluss versetzt, der 
alle Versprechen der technologischen Entkörperlichung zu erfüllen scheint. Es 
dominiert das sinnliche Gefühl, schwerelos durch die geheimnisvollen Schrift- 
räume zu fliegen und die leibliche Verankerung im realphysischen Raum hin- 
ter sich zu lassen. 

Lauren Moffatt verfolgt demgegenüber offenkundig ein anderes Interesse. 
Anstelle eines Effekts der Entkörperlichung sind wir uns in ihrer VR-Instal- 
lation unserer physischen Positionierung stets bewusst, treten den fiktiven 
Figuren gegenüber, umkreisen sie, nähern uns an und treten schließlich in 
sie ‚ein‘. Unweigerlich reflektieren wir dabei unseren Standpunkt, unsere 
Perspektive. Selbst im virtuellen Akt des Sich-Hineinversetzens in die Köpfe 
respektive Gedankenwelten der Protagonist:innen verharren wir in der 


15 Siehe etwa Boehm, Wie Bilder Sinn erzeugen. 
16 Siehe https://laurieanderson.com/?portfolio=chalkroom. 
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Beobachterposition. Momente der Interaktion unterbleiben, die Aufmerksam- 
keit liegt allein auf dem Vorgang des Sehens. Nicht zuletzt legt auch der Titel 
der Arbeit den Fokus auf die Wahrnehmung der Bilder in den verschiedenen 
Raumebenen - und auf ihre technologischen Voraussetzungen. Im virtuellen 
Betreten unterschiedlich konfigurierter Bildebenen wechseln sich die (fik- 
tiven) Bildträger ebenso ab wie die Eindrücke, die wir uns vom Geschehen 
machen. Wie Image Technology Echoes nahelegt, sehen wir nicht nur alle etwas 
anderes, wenn wir den Blick auf unsere Umgebung richten; wir tragen auch 
selbst zahllose Bilder in unserem Bewusstsein, die - in einem echoartigen 
Widerhall — diesen Blick immer schon vorab rahmen und organisieren. Das 
englische „Echoes“ im Werktitel ist sowohl als Nomen im Plural wie als Verb 
lesbar - in jedem Fall rückt subjektivisch die reflektierte oder reflektierende 
Bildtechnologie ins Zentrum, die unsere Wahrnehmung strukturiert.!” 

Was uns Lauren Moffatts Arbeit folglich spielerisch anbietet, ist ein Blick ins 
Innere der fiktiven Figuren, ein Akt des abstrakten Einfühlens, der die Prozesse 
der Bild- und Raumwahrnehmung selbst zum Thema macht. Es würde wohl zu 
weit führen, darin den Versuch zu sehen, virtuelle Räume als Zonen der sozia- 
len Empathie zu entwerfen, wie sie Karen A. Franck vor bald dreißig Jahren 
imaginierte — wobei es bekanntlich zahlreiche Ansätze in der VR-Forschung 
zu embodiment und presence gibt, die genau dieses Potenzial der Technologie 
erkunden.!® Durch die unvermittelte, dichte Begegnung mit den zwei Prota- 
gonist:innen von Image Technology Echoes, beide unterschiedlichen Alters 
und Geschlechts, durch die stufenweise Annäherung an ihr ‚Inneres‘ über 
verschiedene Raumebenen, und durch die Konfrontation mit diversen Bild- 
formaten und -inhalten setzt Moffatts VR-Installation dennoch einen erkennt- 
niskritischen Reflexionsvorgang in Bewegung. Als Besucher:innen fragen wir 
uns schließlich womöglich nicht mehr mit Karen A. Franck, „welchen Körper“ 
wir beim Eintritt in diese Erfahrungswelt „zurücklassen“, sondern vielmehr, in 
welch tiefe Räume verwirrender Innerlichkeit und brüchiger Kommunikation 
uns die virtuellen Bilder zu führen vermögen, um sie schließlich „mit dem gan- 
zen Körper zu besetzen“. 


17 Die mythologische Gestalt der Echo war eine große Erzählerin, der erst durch einen 
Racheakt der Göttin Hera die Sprache abhanden kam. Ihr blieb fortan nur die Fähigkeit, 
einzelne Worten und Satzfetzen zu wiederholen. 

18 Einen Überblick über diverse Ansätze geben Philippe Bertrand et al., „Learning Empathy 
Through Virtual Reality“. 
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Bildnachweise 


Abb. 11.1: Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual Reality- 
Installation, Dauer variabel (interaktiv); produziert von VSENSE mit Unter- 
stützung von The Science Foundation of Ireland, Courtesy J. Pegman. 

Abb. 11.2 bis 11.5: Lauren Moffatt, Image Technology Echoes, 2020/21 (Detail), Virtual 
Reality-Installation, Dauer variabel (interaktiv); produziert von VSENSE mit 
Unterstützung von The Science Foundation of Ireland, Courtesy Lauren Moffatt. 


Re-Building Virtuality: Lebensweltliche 
Mikrokosmen und die Referenzialisierung des 
3D-Design in der Gegenwartskunst 


Annette Urban 


Virtuelle Welten im Zeichen von Verlebensweltlichung 


Auf mehreren Ebenen lässt sich aktuell beobachten, wie eine letztlich schon 
lange sich ankiindigende, vor allem in Zukunftsvisionen der Computerisie- 
rung! vorweggenommene Entwicklung zu voller Entfaltung kommt: Tech- 
nologien des Virtuellen finden inzwischen in fast allen gesellschaftlichen 
Bereichen Anwendung, und der Umgang mit einer künstlich erweiterten oder 
gänzlich synthetischen ‚Realität‘ ist in den allgemeinen Erfahrungsschatz und 
das Alltagsleben übergegangen. So heißt es in den meisten Diskursen zur 
Virtualität und zum Post-Digitalen fast unisono, dass On- und Offline bzw. Vir- 
tuelles und Reales keineswegs mehr Gegensätze, sondern ein Kontinuum der 
Mixed- bzw. Extended Realities? bilden. Vor diesem Hintergrund erscheint es 
erhellend, diesen Paradigmenwechsel nicht nur als Normalisierung, sondern 
als einen Prozess der Verlebensweltlichung zu beschreiben.? Derart lässt sich 
der Wandel genauer anhand des Gegensatzes bestimmen, in den das nun als 
Teil von Lebenswelt verstandene Virtuelle offenbar zur älteren Idee von Virtual 
Reality als eigener Welt tritt. Dieser wirkmächtige Topos aus den Debatten der 
1990er Jahre zu Cyberspace* und ‚immaterieller‘ VR-Kunst hat den Entwurf 
alternativer bzw. spektakulär andersartiger Welten privilegiert, die sich vom 
Alltag ganz entfernten oder dessen Ist-Zustand revidieren wollten und nicht 
selten Raum-, Körper- und Geschlechtergrenzen zu verflüssigen versprachen. 
Insbesondere die virtuellen Welten der Kunst erwiesen sich zudem der Realität 


Mein Dank gilt Rachel Rossin und Antoine Fontaine & Galdric Fleury für den Austausch zu 
ihren Werken und die Bereitstellung von Bildmaterial sowie Julia Reich und Renate Poccia 
für die gemeinsame Forschungs- und Recherchearbeit und die kritische Lektüre. 

ı Vgl. zu den konkurrierenden Zukunftsmodellen von VR und Ubiquitous Computing und 
ihrer Genealogie seit den 1990er Jahren Sprenger, „Ubiquitous“. Verkürzt gesagt, schafft Ubi- 
quitous Computing anders als VR keine gesonderte Erfahrungswelt, sondern durchsetzt die 
Umwelt mit diversen Interfaces, Sensor- und Tracking-Technologien. 

2 Vgl. Milgram und Kushino, „Taxonomy“ und Catricalà und Eugeni, „Technologically Modified". 

3 Vgl. Rieger, Tuschling und Schäfer, „Virtuelle Lebenswelten: Zur Einführung“ sowie Kaspro- 
wicz und Rieger, „Einleitung“. 

4 Vgl. u.a. Rötzer und Weibel, Cyberspace. 
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enthoben, insofern sie eine gesteigerte, ich-zentrierte Erlebnisintensität und 
sogar Wunscherfüllung offerierten. 

Doch so erhellend diese polare Zuordnung in vielerlei Hinsicht ist, so 
erweist sie sich in anderer als zu einfach. Denn die Verschmelzung des Vir- 
tuellen mit Lebenswelt(en) zeigt sich keineswegs nur in der Aufkündigung 
von Welthaftigkeit und der Aufsplittung in unterschiedlichste Teilsysteme 
und Anwendungsbereiche wie Medizin, Bildung, Arbeit etc. Ebensowenig 
fällt die Verschmelzung restlos mit dem Übergang zum Konkurrenzmodell 
des Ubiquitous Computing in Eins, auch wenn dessen unauffällig in Dinge 
und Umwelt integrierte, sogar leibnahe Schnittstellen — wie die unmittelbar 
in die analoge Welterfahrung eingeblendete Augmented Reality? — als Parade- 
fälle von Verlebensweltlichung gelten. Vielmehr lohnt ein genauerer Blick 
darauf, inwiefern auch apparativ nach innen gekehrte, in sich abgeschlossene 
virtuelle ‚Welten‘, wie sie die immersiv-multisensorischen Erfahrungsräume 
in Datenbrillen-basierten VR-Umgebungen und Computerspielen bieten, an 
dieser Entwicklung teilhaben. Hierfür liefert die Gegenwartskunst, die derzeit 
eine erneute Euphorie für VR erlebt und zumindest vordergründig oftmals an 
der Inszenierung spektakulär-andersartiger Welten festhält, einige signifikante 
Beispiele. 

Um zu untersuchen, auf welche Weise Verlebensweltlichung und künstliche 
VR-Welt sich keineswegs ausschließen, wird im Folgenden danach gefragt, wie 
sich das ‚Bauen‘ virtuell-möglicher Welten auf Relikte der vorhandenen Welt 
stützt. Auch hierin zeigt sich eine Neubewertung der überholten Dichotomie. 
Denn in die im Virtuellen scheinbar gottgleiche Welt(en)schöpfung und den 
vermeintlich voraussetzungslosen Entwurf, der von den Gesetzmäßigkeiten 
der Physik befreit ist,® fließen durchaus ein Nachbilden, Konservieren sowie 
Bewahren mit ein. Unter Referenzialität als einem Kernmerkmal der heuti- 
gen Kultur der Digitalität wird zuerst einmal ein Referenzi(alisi)eren im Sinne 
des Bezüge-Herstellens verstanden. Verstärkt werden die kollektiven, kultur- 
stiftenden Prozesse der Bedeutungsbildung an das einzelne Subjekt delegiert, 
d.h. entprofessionalisiert und zu einer Alltagsanforderung.? Über diese von 
Felix Stalder angesprochenen Praktiken des ,Filtern[s] und [der] Bedeutungs- 
zuweisung“® hinaus soll es im Folgenden konkreter auch um Referenzialität als 
ein Verfahren des Herstellens und um die generative Kraft des Indexikalischen 


5 Vgl. Schröter, ‚Virtualisierungen“ 

6 Vgl. zur dennoch wirksamen Einschränkung durch eine künstliche Physik Wiesing, ‚Virtuelle 
Realität“. 

7 Vgl. Stalder, Kultur der Digitalität, S. 95-128. 

8 Ebd.S.18. 
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gehen. Solche Rückgriffe auf quasi dokumentarische, als ‚echt‘ konnotierte 
Elemente aus der ‚realen Welt‘ zum ‚Bau‘, zur ‚Möblierung‘ oder Belebung vir- 
tueller Welten werden begünstigt durch technische Verfahren wie software- 
basierte Photogrammetrie, 3D-Scanning oder auch Motion Capture. Alle drei 
intervenieren in die vordergründige Creatio ex nihilo virtueller Objekte, Archi- 
tekturen und Kreaturen, die aus zuerst geometrisch-abstrakten, dann immer 
feineren Polygonstrukturen möglichst natürliche, teils organisch-humanoide 
Formen bildet und diese mit einer texturierenden Oberfläche bekleidet. 
Teile dieses Prozesses werden durch diejenigen virtuellen Klone optimiert 
bzw. rationalisiert, die auf Basis realer Objekte oder auch zweidimensionaler 
Abbildungen über 3D-Scanning bzw. Messbild-Fotografie, Punktwolken- 
Erstellung und finales Rendering entstehen. 

Aus diesen, erst ansatzweise beschriebenen Verschränkungen von Scan- 
nen, Photogrammetrie und Modellieren? gehen am Ende der Prozessierung 
von Datensätzen jeweils re-visualisierte, ja sogar multi-sensorisch erfahr- 
bare Outputs hervor. Über sie lohnt es als virtuelle Doubles nachzudenken. 
In VR-Umgebungen laden sie zu Formen der Untersuchung, Erkundung und 
Erfahrbarkeit ein, die sich gegenüber dem Original keineswegs reduziert, son- 
dern deutlich erweitert zeigen. Dies macht sie für die Wissenschaften, z.B. bei 
3D-Rekonstruktionen kulturhistorisch bedeutsamer Stätten, dienlich. Sol- 
che Anwendungsfelder liefern zugleich Impulse zur Konzeptualisierung des 
ambiguen Status zwischen Rekonstruktion und Modell. Zusammen mit der 
Theoriebildung zu Entwurfspraktiken und -artefakten helfen sie die Spezifik 
virtueller Objekte und Räume zu präzisieren.!® Erst recht kaum erforscht ist 
die Amateurisierung der inzwischen als Smartphone-Tool verfügbaren und 
in Online-Tutorien erlernbaren 3D-Photogrammetrie bzw. LiDAR-Scanning- 
Technologie." Das Rekonstruktionsbemühen verschiebt sich damit auf authen- 
tische, aber nicht selten banale und nur individuell erinnerungswürdige 
Objekte und Orte des Alltags. Die ausgewählten künstlerischen Beispiele set- 
zen bei genau solchen persönlichen, lebensweltlichen Mikrokosmen an. Sie 
positionieren sich damit entgegen der derzeit florierenden Expansionen des 
Virtuellen. Wie diese totalisierenden virtuellen Universen namens Decentra- 
land oder Metaverse machen sie sich Schnittstellen von (Meta-)Gaming,” 
Online-Kultur und VR-Entwicklung zu eigen. Im Gegensatz dazu fügen sich 


9 Vgl. u.a. die Lemmata Scannen und Modellieren in Bickenbach, Christians und Weg- 
mann, Historisches Wörterbuch. 

10 Vgl. hierzu Ammon und Hinterwaldner, Bildlichkeit, Hinterwaldner, „Irritierende Arte- 
fakte“, S. 197-202 sowie Höfler, „Modelloperationen“. 

11 Zum mobilen, entprofessionalisierten Scanner vgl. Friedrich, „Scannen“. 

12 Boluk und Mieux, Metagaming. 
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ihre immersiven ,Kleinstwelten“ jedoch aus Elementen oder auch Relikten 
individueller Lebenswelten zusammen, die paradoxe Spuren des Gelebten 
und virtuelle Patina’ tragen. Um virtuelle Objekte und Umgebungen als Teil 
einer weniger öffentlichen denn persönlichen Kultur der (Welt-)Aneignung 
und des Erinnerns zu befragen, ist die Forschung zur Datenphysikalisierung 
hilfreich: Dort steht vor allem der nachfolgende Schritt der Re-Analogisierung 
abstrakter Daten z.B. mithilfe von 3D-Druck im Fokus. Gemeinsam ist jedoch 
die Frage der individuellen Bezugnahme auf latente Objekte, die im Zuge der 
De- und Rematerialisierung mit affektivem Wert versehen und zum Teil als 
Unikate re-auratisiert werden. 

Damit aber gewinnt die längst verabschiedete virtuelle Verdopplung der 
Realität noch einmal an Komplexität hinzu. Denn auch wenn schon früh das 
Zwei-Welten-Modell der Ersetzung der realen durch eine konkurrierende vir- 
tuelle Realität widerlegt und dem Verständnis von Virtualisierung als Plurali- 
sierung der Weg geebnet wurde,!® blieben Referenzialität und Re-Situierung 
nicht selten davon ausgeschlossen." Heute hingegen wird World-Building, 
als in der Phantastik, (SF-)Literatur oder im Game Design verankertes Kon- 
zept,!® im Virtuellen durchaus mit einem Place-Making verbunden.!? Und 
der erweiterte Begriff vom Konstruieren, der das Verstehen von Welt ebenso 
einschließt wie das phänomenologische In-der-Welt-Sein, hat, im Anschluss 
an Heidegger, auch im Virtuellen den engen Konnex von Bauen, Wohnen und 
Denken hervortreten lassen.2° Auf diese Weise eröffnen sich für das Nach- 
denken über digitale 3D-Rekonstruktionen weiterführende Perspektiven: 
Während sie bisher vorrangig als Wissensarchitekturen verstanden werden, 
die Zugang zu Datensammlungen gewähren und neue Hypothesenbildungen 
ermöglichen, hat Inge Hinterwaldner die Vernachlässigung ihrer spezifisch 
architektonischen Verfasstheit konstatiert. Damit verbindet sich u.a. die 
Qualität des Bewohnens, wenngleich Hinterwaldner konzediert, dass sich das 
Bewohnen in digitalen Rekonstruktionen zur Exploration hin verschiebe.?! 
Oder aber - so ließe sich mit den im Folgenden diskutierten künstlerischen 


13 Rieger, Schäfer und Tuschling, „Virtuelle Lebenswelten: Zur Einführung‘, S. 1. 

14 Vgl. Lee, Cha und Nam, „Patina Engraver“. 

15 Vgl. Rieger, „Be the Data“, S. 201-205. 

16 Vgl. Münker, ‚Was heißt eigentlich: ‘Virtuelle Realität?“ und Esposito, „Fiktion und 
Virtualität“. 

17 Vgl. Münker, „Was heißt eigentlich: ‘Virtuelle Realität’?“, S. 124f. 

18 Vgl. u.a. Honegger und Chen, Subcreation sowie Götz, „From Asteroid“. 

19 Vgl. Holischka, CyberPlaces. 

20 Vgl. ebd. u.a. mit Bezug auf Minecraft sowie Rieger, „Virtuelles Wohnen“. 

21 Vgl. Hinterwaldner, „Irritierende Artefakte“, S. 202. 
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Beispielen argumentieren — es treten neue Allianzen von Bewohnen und 
Explorieren hervor, die kognitive und psychomotorische Fähigkeiten, Re- 
Konstruktion und Kreation, Erinnern und Immanenz verbinden. 


Erinnernde Rekonstruktion und der taktil aufzehrende Blick bei 
Rachel Rossin 


Die US-amerikanische Känstlerin Rachel Rossin hat seit Mitte der 2010er 
Jahre an der aktuellen Wiederentdeckung von VR als kiinstlerischem Medium 
Anteil. Ihre Datenbrillen-gestiitzten VR-Experiences stellt sie gemeinsam mit 
ihren Gemälden aus und stiftet so intermediale und interpikturale Bezüge. 
Generell ist Rossin an der Responsivität von VR-Technologie interessiert, die 
sie dezidiert zweiseitig interpretiert. Ebenso wie die Betrachter:innen die vor- 
gefundene Welt interaktiv beeinflussen können, spricht die Künstlerin ihren 
VR-Werken eigene Fähigkeiten zu: „[...] the work is programmed with a crude 
type of ‚sentience‘ — [it] has an awareness of the viewer“.?? Insbesondere zwi- 
schen Raum und Zeit als Grundkoordinaten menschlicher Selbstverortung 
werden derart jenseits des physisch Möglichen Korrelationen und Kausali- 
täten verkehrt. In The Sky is a Gap (2017) etwa nutzt sie die damalige VR- 
Innovation des Room-Scale, d.h. des Tracking nicht nur des Kopfes, sondern 
des gesamten Körpers, um das „räumliche Tracking“ auf die „Skalierung der 
Zeit nach oben und unten“? zu übertragen. In Abhängigkeit von der Bewegung 
im Ausstellungsraum zersplittert so die Architektur, die dieser VR-Arbeit 
als Demonstrationsobjekt zugrunde liegt und zwischenzeitlich als Gitter- 
zeichnung eines intakten Wohnhauses sichtbar wird. Indem die User:innen 
motorisch die Geschwindigkeit und den Ablauf der Zerstörung beeinflussen, 
stellt sich die virtuelle Manipulierbarkeit von Zeit als Verfügungsmacht über 
Prozesse der Destruktion und Re-Konstruktion dar. 

Während The Sky is a Gap das mit tricktechnischem Rücklauf assoziierte 
Faszinosum einer schlagartig reversiblen Explosion in den Mittelpunkt rückt, 
ist für den vorliegenden Zusammenhang eine frühere architekturbezogene 
VR-Arbeit von Rossin noch interessanter. I Came and Went as a Ghost Hand. 
Cycle 1 (2015; Abb. 12.1a—d) basiert auf tatsächlich existenten, teils nur noch 
erinnerten Räumen von privater Bedeutung für die Künstlerin. Dazu zählen 
verschiedene Studios samt Inventar wie einem Computer, ihr Zuhause aus Kin- 
dertagen oder spätere Appartements u.a. mit einem gut gefüllten Kühlschrank. 


22 Rossin, „[My Works]“, S. 214. 
23 Rossin, Interview (Übersetzung A.U.). 
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Zu diesen autobiografisch aufgeladenen Räumen steht die VR-Welt durch 3D- 
Scans und Photogrammetrie in einem referenziellen und sogar indexikalischen 
Verhältnis der Re-Konstruktion. 


ii 


Abb. 12.1a-d Rachel Rossin, I Came and Went as a Ghost Hand, Cycle 1, 2015, VR-Installation 
(Oculus Rift), VR Captures. Courtesy R. Rossin. 


Mittels photogrammetrischer Erfassung, Laser-Scan und der Ausgabe in 3D 
entstand ein via Datenbrille begehbarer Raum, der die spezifische Objekt- 
haftigkeit und Architektonik des Virtuellen ins Licht räckt und mit der Haptik 
und Materialität des Digitalen verknüpft ist. Damit erweist sich die „Trennung 
von logischer Struktur und materiellem Substrat“, die Jens Schröter 2006 mit 
Blick auf computersimulierte Modelle und das Rendering von Skulpturen 
als „Kern des Virtuellen“?* bestimmt hatte, als zunehmend unscharf. Gerade 
3D-Rekonstruktionen belegen Inge Hinterwaldner zufolge eine Integration des 
Analogen nicht nur in die digitale Sphäre, sondern auch seine Vereinbarkeit 
mit dem Virtuellen, vorausgesetzt, man versteht letzteres modelltheoretisch 
inspiriert weniger von Optik und (technologischer) Medienspezifik her denn 
als implizite Aufforderung zur Handlung.?® „Dieses aktionsbezogene Virtu- 
elle der Artefakte“26 eröffnet neue mögliche Umgangsweisen, weil sich in 


24 Schröter, Wie man Skulpturen rendern soll“, S. 259. 
25 Vgl. Hinterwaldner, „Irritierende Artefakte“, S. 197 und 181. 
26 Ebd.,S. 181. 
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den Transfers von Bildern zu Modellen deren Darstellungskonventionen und 
inhärente Handlungsangebote aneinander reiben. Zudem verbinden sich die 
Herstellungsweise in 3D und der Umgang mit dem Virtuellen hier mit dessen 
ontologisch-spekulativem Potenzial. Kathrin Friedrich sieht in der ,Medien- 
praktik des Scannens“ die Tendenz bestehen, „dass [sie] zukünftig auf eine 
engere und rückgekoppelte Verbindung von physischen und digitalen bzw. 
symbolischen Ontologien gerichtet sein wird.’ Dies impliziert auch, dass sich 
die Logiken der Repräsentation und Operativität, Kognition und (Körper-) 
Praxis verschränken. Simon Penny zufolge hat sich Virtualität seit den 2000er 
Jahren vor allem durch solche Interfaces erweitert, die für Weltbezüge adäquat 
sind: Post-kognitivistisch gewendet, rücken die „verkörperten, situierten und 
materiellen Aspekte“ der Kognition selbst sowie „performative Relationen 
zwischen Artefakten und Welt”? in den Fokus. Somit ist der Status virtueller 
Objekte als zugleich epistemisch und pragmatisch bestimmt. 

In Rossins I Came and Went as a Ghost Hand nun strahlen die 3D-Repliken 
zuerst einmal eine „unheimliche Wahrhaftigkeit“? aus. Teils fotogetreue, 
authentisch ‚unscharfe‘, teils diffus-vernebelte, substanzlos erscheinende Ober- 
flächen verbinden sich miteinereigentümlich aufgedunsenen, an den Konturen 
partiell ausfransenden Plastizität. Sie resynthetisieren die verfahrenstechnisch 
aufgespaltenen, einerseits genuin bildlichen, andererseits aus Abstandsdaten 
bestehenden Zwischenzustände zu halb flächigen 3D-Gebilden, ähnlich einer 
soften, destrukturierten Skulptur bei Claes Oldenburg oder Franz West. Der 
so erzeugte Realitätseffekt unterscheidet sich u.a. durch die virtuelle Patina?° 
der in ihrer Oberfläche und Substanz angegriffenen Repliken vom ‚Realismus‘ 
virtueller Gebilde, die sich allein von Polygon-Primitiven ableiten und eben- 
falls oft mit fotografischen Texture Maps bekleidet sind. Zusätzlich treten in 
Rossins VR-Werk auch polygonal facettierte Objekte und Raumelemente in 
Erscheinung, die mitunter zu vollkommen planaren, papierähnlichen und 
gleichwohl schattenwerfenden Ebenen verflachen. Durch das Nebeneinander 
mit solideren, taktil stärker affızierenden 3D-Objekt-Repliken stellt diese VR- 
Welt ihre unterschiedlichen Aggregatzustände aus, die auf ein beständiges 
(Re-)Making und Unmaking anspielen. 

Unterstützt wird dieser Eindruck durch die fragile Materialität nicht nur der 
Einzelelemente, sondern der gesamten architekturähnlichen Großstruktur. 


27 Friedrich, „Scannen“, S. 409. 

28 Penny, ,Irying to be Calm‘, S. 269f. (Übersetzung A.U.). 

29 _ Unveröffentlichter Projekttext von Rossin. 

30 Während Lee, Cha und Nam darunter z.B. das Eingravieren von Datenkurven in 
Tracking-Armbänder verstehen, gilt es die hier skizzierte Begriffsbedeutung erst noch zu 
entwickeln. 
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Ihre fragmentarisch-ruinöse Ästhetik verhandelt weniger Geschichtlichkeit, 
als dass sie durch verschiedene Mikrotemporalitäten belebt ist. Statt einzelne 
Innenraum-Scans, analog zu einer ortsfesten Sedimentierung von Vergangen- 
heiten, palimpsestartig zu schichten, werden diverse Orte aus unterschied- 
lichen biografischen Phasen baulich (re-)synthetisiert. Es entsteht ein äußerst 
bruchstückhafter Baukörper, der aber doch ein verhältnismäßig kohärentes 
Treppenhaus-Teilstück, Geschosseinteilungen sowie verbindende bauliche 
Infrastruktur wie Rohre, Lüftungsschächte oder Klimaanlagen erahnen lässt. 
Die im virtuellen Raum fast grenzenlose Perspektivierbarkeit des Architektur- 
Objekts wird durch das Schweben in einem deterritorialisierenden Void auf 
die Spitze getrieben, ohne dass eine (kunst-)historisch und archäologisch 
übliche Wiederherstellung fehlender Teile oder einbettende Kontextuali- 
sierung für Erdung sorgt. Vielmehr sind sich die bei Rossin dominierenden 
Interieurs, die nur an wenigen Stellen von landschaftlichen Chiffren gesäumt 
werden, Welt genug. Analog zu einem zentralen Topos von VR herrscht darin 
ein schwereloses, steuerbares Schweben, das Margaret Morse als prototypisch 
für deren eigentlichen, immersiv fundierten (Realitäts-)Effekt bestimmt hat — 
„as if my gaze itself was creating (or performing) this world“.?! Im Unterschied 
zu den an einen optischen Überblick geknüpften Phantasmen von territo- 
rialer Allmacht und „super-power“® erschließt sich dem oder der User:in in 
I Came and Went as a Ghost Hand erdentbunden gleitend indes eine alltäg- 
liche Binnenarchitektur, die sich gewohnten räumlichen Vollzügen entzieht. 
Auch hier bietet sich das Erlebnis sonst unmöglicher Auf- oder Untersichten, 
die im praktischen Vollzug Erkenntnis stiften, wenn erst durch Veränderung 
des Blickwinkels vertraute Gegenständlichkeit als solche wiedererkennbar 
wird. In dieser lückenhaften Objektkonstanz manifestiert sich eine charakte- 
ristische Latenz im Virtuellen. Die verkörperte, multimodale VR-Erfahrung,33 
die neben dem Sehsinn vor allem Kinästhesie und Propriozeption involviert, 
erlaubt bei Rossin eine spezielle Überkreuzung von sinnlichem Vermögen 
und Handlungsoptionen. Fortbewegung korreliert nicht nur mit der Blickaus- 
richtung, sondern wird gänzlich von der Kopfbewegung abhängig gemacht. 
Sie beeinflusst schon durch geringfügige Bewegung und ihre Geschwindigkeit 
die Positionsveränderung im virtuellen Raum, so dass es in dieser Umgebung 
kaum Stillstand und Kontemplation gibt. „VEs [Virtual Environments] engage 
the body as kinaesthetic input via the specialised interface devices that not 


31 Morse, ,Enthralling Spaces‘, S. 83. 
32 Ebd. 
33 _ Vgl. Preiß, Kunst mit allen Sinnen. 
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only permit but require bodily actions [...]*,?* wie Jacqueline Ford Morie kon- 
statiert hat. In dieser Hinsicht lässt Rossins besondere Interface-Konstellation 
Schauen, Gehen und zudem auch Begreifen ineinanderfließen. 

Darauf deutet zusätzlich die kleine weiße Ghost Hand hin, die mithilfe 
von spielerisch zwei Beine imitierenden Zeige- und Mittelfingern ebenso 
schwebend durch den Raum ‚geht‘, als plastisches Gebilde Schatten wirft und 
zugleich körperlos-geisterhaft durch Wände diffundiert. Diese Variante des 
„avatarischen (Re-)Embodiment“, für das auch schon „Körperteile oder andere 
Zeichen von Körperlichkeit“® ausreichen, läuft in einem gestisch-interaktiven 
Sinne ins Leere: Greif- und Tastfunktion sind ausgespart. Stattdessen geschieht 
ein zweifaches Virtual Embodiment über ähnliche körperliche Vollzüge. Der 
oder die User:in identifiziert sich mit dem Bewegungsmodus und Aktions- 
radius der solitären Hand und gewinnt einen Anhaltspunkt zur besseren 
Orientierung, kann sie aber nicht steuern und bleibt selbst ohne figürliche 
Körperrepräsentation. Die Substituierung des Greifens fällt umso mehr auf, als 
sie der auffälligen Plastizität der 3D-Scans und deren Affordanz widerstrebt. 
Zuerstkaum bemerkt, belehnt die Künstlerin jedoch den Betrachter:innenblick 
als Motor des permanenten Echtzeit-Feedbacks, der die Interaktion und die 
„Route durch das Stück“3® bzw. dessen Verlauf steuert, mit quasi-haptischem 
Vermögen. Als Vehikel der Fortbewegung sorgt der Blick zugleich dort, wo er 
auftrifft, für weitere Zerstörung der bruchstückhaften Architektur, so dass sich 
die virtuelle Dinglichkeit im Zuge ihrer Exploration fortschreitend aufzehrt. 
Hierfür belegt Rossin den durch Software zugerüsteten Blick durch das Head- 
Mounted-Display mit einem Entropy Script, wie es in Shooter-Spielen für die 
Flugbahnberechnung von Projektilen benutzt wird.3” Damit verkoppelt sich 
die virtuelle Re-Konstruktion, die mittels Smartphone-Fotos und eines hand- 
lichen LiDAR-Scanners geleistet wird, stets mit ihrer eigenen De-Konstruktion. 
Das vertraute, getreu ‚abgedruckte‘ Inventar ist in der VR aufgrund des blick- 
basierten Interfaces gerade nicht handhabbar. Der taktil gewordene Blick 
höhlt die Substanz der umgebenden Dinge und Architekturen weiter aus und 
führt die instabile Materialität des Digitalen sowie die Objektlatenz im Virtu- 
ellen vor. 

Die Künstlerin selbst schließt diesen Prozess, der die mediatisierte (Wie- 
der-)Aneignung einer mit (autobiografischer) Erfahrung gesättigten Welt mit 
deren schrittweiser Auslöschung verbindet, mit den mentalen Eigenheiten 


34 Morie, „Performing in (Virtual) Spaces“, S. 126. 

35  Rupert-Kruse, „Avatarial (Re-)Embodiment‘, S. 191 (Übersetzung A.U.). 
36 _Unveröffentlichter Projekttext von Rossin (Übersetzung A.U.). 

37 Vgl. ebd. 
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„sowohl unseres physikalischen als auch digitalen Gedächtnisses“?® kurz. Sie 
analogisiert die Durchlöcherung der digitalen Materie nicht nur mit dem auf 
Selektivität und Vergessen basierenden Vermögen des menschlichen Gedächt- 
nisses, sondern mit der lossiness von Daten, die Kompressions-Algorithmen 
zugunsten von deren Austauschbarkeit und Zirkulation erzeugen. Anders als 
eine wissenschaftliche ist diese künstlerische 3D-Rekonstruktion aus einer 
subjektiv mit Low-Tech statt kollektiv erstellten und ausgewerteten Daten- 
sammlung entstanden. Gleichwohl lässt sich darin mit Rossin eine „allegory 
of exchange“? sehen, die verhältnismäßig ‚arme Bilder”? in ihrem durch Aus- 
tausch erhöhten affektiv-sozialen Wert untersucht. Der Nutzer:innen-Blick 
bohrt sich buchstäblich durch den virtualisierten Mikrokosmos und macht VR 
zu einem Medium der verteilten Aneignung, das die Ortsbezogenheit gerade 
des autobiografischen Gedichtnisses* intersubjektiv erfahrbar machen kann. 
Über den oder die solitäre:n Nutzer:in hinaus schreibt sich die Rezeption einer 
ganzen Gruppe aufeinanderfolgender Nutzer:innen in die Inworld-Architek- 
tur ein, die zunehmend von deren Trajektorien durchzogen wird. Hieraus ent- 
steht eine kollektiv erzeugte, ephemere Unikalität, da das VR-Kunstwerk nach 
jedem der 24-stündigen Resets auf neue Weise durch die sich kumulierende 
Rezeption modifiziert wird. 

Der programmiertechnische Terminus des „Lebenszyklus“? dieses ‚sen- 
tient artwork‘ deutet darauf hin, dass sich der virtuelle Mikrokosmos auch 
zeitlich den rhythmischen Mikrotemporalitäten des Alltagslebens anpasst 
und ein Repertoire wiederkehrender Wege verzeichnet. Und dank des einfach 
gehaltenen, blickgeleiteten Interface prägt sich ein ‚Bewusstsein‘ für Blicke 
und Wege nicht nur ‚im‘ Werk, sondern auch bei dessen Nutzer:innen ein. So 
unübersichtlich sich die zunehmend fragmentarische, bodenlose Architektur 
präsentiert, so ermöglicht sie aufgrund der eingestreuten, photogrammetrisch- 
lebensechten Winkel doch die Erfahrung unterschiedlicher Raumqualitäten 
(Abb. 12.2a-d): Von intimen Nischen, in denen sich wie aus dem Leben gegriffen 
ein Kaktus-Stillleben auf einem Küchentisch befindet und sogar vereinzelt der 
Körper der Künstlerin als Bodyscan zugegen ist, gleitet oder diffundiert der 
oder die User:in in zerfaserte Zonen, die Rossin als akkordeonartig gefaltete, 
architektonische 3D-Dioramen charakterisiert: Deren Spiel mit Nähe und 
Distanzen mithilfe eines ‚virtual fog“? leitet nicht zuletzt in die VR-internen 


38 Ebd. (Übersetzung A.U.) 

39 Ebd. 

40 Vgl. Steyerl, „In Defense of the Poor Image“. 
41 Vgl. Brown und Elias, „Remembering“. 

42 Vgl. unveröffentlichter Projekttext von Rossin. 
43 Ebd. 
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Abb. 12.2a-d Rachel Rossin, I Came and Went as a Ghost Hand, Cycle 1, 2015, VR-Installation 
(Oculus Rift), VR Captures. Courtesy R. Rossin. 


Plein-air-Szenerien und extern in die zugleich ausgestellten Gemälden iiber. 
Der vordergriindig körperlose Blick erfährt durch die Raumkompressionen im 
Durchwandern einen starken Effekt der Verkörperung (embodiment), so dass 
sich in dieser 3D-Rekonstruktion eine besondere Verbindung von Explorieren 
und Wohnen einstellt. 


Der digitale Nachbau als Gameplay - fleuryfontaine 


Durch die photogrammetrischen Verfahren steht Rossins VR-Experience für 
eine baulich-virtuelle Welt, die sich als Rekonstruktion in der subjektgebun- 
denen Lebenswelt verankert. Dabei geht es vorrangig um deren Rezeption, 
welche durch Eingriffe in die bauliche Substanz zu einem gewissen Grad 
koproduktiv wird. Den Produktions- als Entstehungsprozess rückt hingegen 
das zweite Werkbeispiel ins Zentrum, die u.a. installativ gezeigte Videoarbeit 
Ange | I Would Prefer not to (2019) des französischen Künstlerduos fleuryfon- 
taine (Antoine Fontaine und Galdric Fleury), die deutliche Züge eines Making- 
of trägt.** Die beiden Künstler schaffen hier die 3D-Replik eines authentischen 


44 Unter dem Titel I Would Prefer not to war die installative Werkform 2020, nach der 
Premiere in Le Fresnoy, in der Ausstellung How to Make a Paradise. Sehnsucht und 
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Weltausschnitts, indem sie über eine Online-Kommunikationsplattform mit 
einem jungen Mann in Kontakt treten. Mit diesem besprechen sie den Nach- 
bau seines Zuhauses innerhalb eines Gaming-Szenarios und teilen die jeweils 
aktuelle Dateiversion, so dass die virtuell reproduzierte Welt im Zuge der 
Erprobung durch ihren Bewohner schrittweise perfektioniert wird. Erneut 
haben wir es mit der Transformation eines höchst persönlichen Mikrokosmos 
in eine virtuell begehbare Replik zu tun, die - im Unterschied zu Rossin - nicht 
in erster Instanz Produkt einer primär autobiografischen Erinnerungsarbeit 
der Känstlerin selbst ist. Vielmehr entsteht sie kollaborativ und unabhängig 
von einer gemeinsam klar definierten Zielsetzung, impliziert aber durchaus 
auch Aspekte des Erinnerns. Dies evoziert Parallelen zum World-Building 
in Open World Multiplayer Online Games, wenngleich kein tatsächlich ver- 
teiltes Bauen*? oder Game Modding zugelassen ist. Unter seinem Klarnamen 
begegnen wir Ael, bretonisch für Ange bzw. Engel, der — ohne je im Bild zu 
erscheinen - allein durch seine im Voice-over zu hörende Stimme und mar- 
kante Sprechweise fiir starke Authentizitäts- und Ko-Präsenz-Effekte sorgt 
(während die Stimmen der beiden Kiinstler eliminiert sind). Nach der vor- 
sichtigen, bildlosen Kontaktaufnahme via discord, deren O-Ton das Intro der 
Videoarbeit unterlegt, lässt sich Ael auf die gemeinsame Rekonstruktion seines 
bescheidenen, wenig mehr als Schreibtisch, Computer und Bett umfassenden 
Zuhause ein. Angesichts seiner radikal in Online-(Spiel-)Welten verlagerten 
Existenz, die er seit vielen Jahren als so genannter Hikikomori führt, muss ihm 
dieses Zuhause eigentlich kaum des Aufwands wert erscheinen. Umgekehrt 
hat natürlich dessen Transfer in die mediatisierte Form einen hohen Reiz, und 
der ganze Nachbau im Virtuellen wird unterschwellig als Mittel für darüber 
hinausreichende, letztlich lebensweltliche Zwecke - des Gesprächs, sozialen 
Kontakts bis hin zur quasi-therapeutischen Traumakonfrontation — erkenn- 
bar. Gegenüber der Kollaboration erweist sich die Position der Zuschauer:in- 
nen der Videoinstallation als weniger (inter-)aktiv, wenngleich sich durch die 
Übernahme der gamifizierten First-Person-Perspektive im Videofilm ebenfalls 
ein verdoppeltes Virtual Embodiment, jedoch ganz ohne sichtbare avatarische 
Körper, vollzieht. 

Auch bei fleuryfontaine kommt also die Schnittmenge zwischen virtuellen 
Welten und Gaming zum Tragen, die sie wie Rossin in minimalistische For- 
men überführen. Einige ihrer Werke nennen sie Video Toys als Hinweis auf 
deren hybriden Status und bewusst unterkomplexe Spielmechanik. Letztere 


Abhängigkeit in generierten Welten im Frankfurter Kunstverein zu sehen, auf der Künstler- 
Website erscheint der Titel Ange. 
45 Vel. Wolf, World-Builders on World-Building. 
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prägt auch den 19-miniitigen Film Ange, der als Format sowohl Ausstellungs- 
kontexte als auch Filmfestivals bedient. Er besteht in weiten Teilen aus Screen- 
casts von Aels Gameplay in der fiir ihn nachgebildeten Umwelt, wo sich die 
Handlungsoptionen abermals aufs Navigieren und Durchlaufen beschränken. 
Solche digitalen Raum-(Re-)Konstruktionen wenden fleuryfontaine für netz- 
kulturell infiltrierte Interieurs wie in D.I.S.A.P.PE.A.R. (2018) als auch für Sied- 
lungen und Städte an. Ihre Herangehensweise ist ausbildungsbedingt durch 
die Software für architektonisches Entwerfen geprägt, das durchaus von 
Gaming-Umgebungen u.a. wegen deren anders gearteter Perspektivierbarkeit 
Impulse erhält.*6 Des Öfteren sind ihre künstlich generierten Welten mit Reali- 
tät gesättigt, wenn sie etwa in Contraindre | Constrain (2020) Netz-Clips von 
Polizeigewalt gegen Corona-Proteste nutzen und Opfer-Körper mithilfe von 
Motion Capture ins Virtuelle übertragen. 

Dabei liegt mit Blick auf Ange eine nicht unbeträchtliche Ironie darin, 
dass der authentische Ausschnitt von Lebenswelt im Fall des Hikikomori Ael, 
der seit seiner Jugend sein Leben fast ausschließlich in der Gartenhütte sei- 
ner Eltern verbringt, dem Inbegriff von Weltflucht gleicht und statt für die 
Verlebensweltlichung des Virtuellen für extremste Lebensferne zu stehen 
scheint. Zugleich aber legt es gerade diese Hütte nahe, sie als Urform des 
basalen Sich-Einrichtens und der Aneignung von Welt zu lesen, die durch den 
beständigen Austausch mit den Künstlern ‚da draußen‘ eine intersubjektive, 
soziale Dimension gewinnt. Schon die Binnengliederung durch drei Walk- 
Through-Sequenzen untermauert das Narrativ eines Produktionsprozesses 
als Weltgenese: Im Intro überblenden sich langsam noch leicht unterschied- 
liche, primär durch Fensteröffnungen, Jalousien und leuchtende Bildschirme 
definierte Innenräume. Diese ersten Entwürfe oszillieren durch ihr Fading 
und ihre überstrahlte Helligkeit - Rossins ‚virtual fog“ nicht unähnlich - zwi- 
schen näherungsweiser Nachschöpfung, vagem Erinnern und der Potenziali- 
tät des Modellhaften. Sie evozieren jene ‚verkörperte[n] Sichtweisen“*” und 
Aufforderung zur Exploration, die Hinterwaldner als modelltypisch benennt. 
Aus den abstrakt-monochromen Anfängen eines noch schemenhaften, mit 
Prototypen bestückten Innenraums entwickelt sich dann - angestoßen durch 
das Entpacken der neuesten Datei — eine immer naturgetreuere, zuerst nur 
als äußere Hülle ansichtige, schließlich betretbare und in eine Umwelt ein- 
gegliederte Vollversion (Abb. ı2.3a-d und 12.4a-d). Als Gradmesser für die 
erreichte Lebensnähe dient das Explorieren des virtuell reproduzierten Refu- 
giums durch den während des Screencasts dort realiter am PC verorteten 


46 Vgl. Hinterwaldner, „Prolog“, S. 22. 
47 Ebd, S. ı7. 
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Ael. Dessen bloßer Walk-Through füllt als Feedback-Medium und „Schlaufe 
durch den Körper“*® die visuelle Leerstelle des Bewohners und wird quasi 
koproduktiv tätig. Unterbrochen wird dieser dreistufige Aufbau an zwei signi- 
fikanten Stellen: Zuerst durch eine Desktop-Ansicht, die die Operativität hin- 
ter der künstlichen Bildräumlichkeit auszustellen scheint, aber gerade nicht 
die Programmier-Oberfläche für das Spiel, sondern die Plattform mit camou- 
flierten Profilbildern der Kommunikationspartner sichtbar macht. Zweitens 
ist vor dem finalen Durchlaufen der virtuellen Szenerie das hochformatige 
Footage eines Handyfilms einmontiert, das Ael bei seinem ersten nächtlichen 
Ausgang seit Jahren - so suggeriert es zumindest der begleitende O-Ton - auf- 
nimmt. Seinerseits ein Walk-Through, nur eben durch die fremd gewordene 
reale Nahwelt des Viertels, hat dieses selbstbegleitende und -therapeutische 
Filmen eine katalysatorische Wirkung, insofern etwa ein Nachbarhaus nicht 
näher beschriebene Traumata heraufbeschwört. 


Abb.ı2.3a-d fleuryfontaine, Ange, 2019, Videoinstallation, Farbe, Ton, 19 min, Videostills, 
eine Produktion von Le Fresnoy, Studio National des arts contemporains. 
Courtesy fleuryfontaine. 


Jenseits einer unilinearen Optimierung der 3D-Rekonstruktion ist deren 
Erschließung durch Ael als Besucher bzw. Explorateur in seinem virtuali- 
sierten Gehäuse durch eine Reihe von Inversionen zwischen Umraum und 
Binnenwelt, Zugang und Ausschluss bestimmt. Im ersten Screencast evoziert 


48 Stalder, Kultur der Digitalität, S. 118. Ich danke Julia Reich für diesen Hinweis. 
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I won't go farther. 


Abb.12.4a-d fleuryfontaine, Ange, 2019, Videoinstallation, Farbe, Ton, 19 min, Videostills, 
eine Produktion von Le Fresnoy, Studio National des arts contemporains. 
Courtesy fleuryfontaine. 


das noch blasse, kaum texturierte Interieur eine grobe Inventur und miind- 
liche Korrekturen, etwa was die neue, nun mit Licht- und Soundeffekten ver- 
sehene Tastatur betrifft. Der Schritt nach drauBen vor die Gartenhiitte endet 
in einem ebenso dunstigen Void, das allein von einer Reihe Garten-Platten 
durchzogen ist. Bei Abweichung von diesem handlungsinduzierenden Pfad 
erfolgt der so spektakuläre wie erwartbare Fall in die Tiefe, der die Abrisskante 
der errechneten Welt markiert und von Ael mit einem ironisch-belustigten ,Si 
Jy vais, je tombe“*? („Wenn ich dorthin gehe, falle ich“) quittiert wird. Diese 
Trope virtueller Körpererfahrung ist damit als Gaming-Stereotyp offengelegt, 
bewahrt sich aber ihren metaphysischen Symbolwert als Sturz der gefallenen 
Engel respektive Menschen. Nach einem sphärisch vertonten Splitscreen 
mit den ersten Entwurfsvarianten führen die Steinplatten im schwerelosen 
Nichts Aels unsichtbaren Gaming-Körper zur hyperrealistisch gerenderten 


49 Die wörtlichen Zitate stammen aus dem Voice-over von Ange. 
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Gartenhiitte hin. Begleitet von begeisterten Ausrufen, erhält der hier erstmalig 
von außen ansichtige Hüttennachbau latent den Charakter einer Gabe oder 
gar Epiphanie. In dem schnell hinzugeklickten, von Mauern eng begrenzten 
Gartenbezirk erprobt Ael, dessen Ego-Perspektive wir durch die virtuelle 
Kamera beständig teilen, wie in einem neuen Spiel-Level sein Aktionsspektrum 
(Abb. 12.3 und 12.4). Längst habitualisierte Körpervollzüge und Affordanzen 
virtueller Objekte werden abgerufen, bald allerdings auch entautomatisiert, 
wenn sich das Hindernis der Gartenmauer eben nicht überspringen lässt. 
Zunächst erzeugt dieses Ausagieren in der als Spielsituation dargebotenen 
Nahwelt selbst in dem nur rudimentär interaktiven, sogenannten Walking 
Simulator ein fast kindliches Vergnügen, das die Tristesse des Hinterhofs über- 
spielt. Bald jedoch kippt das auf ein Fortkommen angelegte Gaming in das Ein- 
geschlossensein im Geviert des Gartens zurück. Aels Rückzugswunsch prallt 
an der Oberfläche der im Innern noch nicht errechneten Hütte ab, so dass 
er untätig herumstehend die schwierige Vereinbarkeit seiner eremitischen 
Online-Existenz mit ganz lebensweltlich-menschlichen Grundbedürfnissen 
und einem normalen Tag-Nacht-Rhythmus beschreibt. 

Aus dieser Pattsituation führt, in der Schnittlogik der Videoarbeit, das 
nächtliche Wagnis des schlaflosen „aventurier de la street“ („Abenteurers der 
Straße“) auf den ereignislosen Gassen der Wohnsiedlung heraus. Das authen- 
tische Dokument des Handyfilms leistet durch die Selbst-Mediatisierung, die 
den ‚Freigang‘ erleichtern soll, ein überraschend ähnliches Embodiment wie 
der virtuelle Walk-Through. Es macht Aels Stress anhand der auf den Boden 
fixierten Kameraführung und seines beschwichtigenden Selbstgesprächs kör- 
perlich nachvollziehbar. Der zwei Mal kurz erfasste Schattenumriss Aels auf 
dem Pflaster schmälert dieses geteilte Embodiment keineswegs. Hier nun ist 
es die Grasnarbe einer Straßenkreuzung, die der Challenge eine unsichtbare, 
psychomotorisch unüberwindliche Grenze setzt und Ael gestehen lässt, seine 
physisch-mentale, selbsteingerichtete Welt gleiche weiterhin einem „gros 
bordel“ („großem Durcheinander“). Die horizontlose Grasnarbe leitet in der 
letzten Walk-Through-Sequenz über ein künstliches Grün in den Komplex um 
die Gartenhütte zurück, der nun durch Konturlinien des angrenzenden Eltern- 
hauses angereichert ist. In diesem Finale öffnet sich die Tür in das zuvor ver- 
schlossen gebliebene, derweil komplett rekonstruierte Gebäude. Darin agiert 
der User, ohne vom Punctum des jetzt hyperrealen Details eines ungemachten 
Betts angezogen zu werden, etwas ziellos angesichts der Phalanx übergroßer 
Bildschirme auf dem Schreibtisch, von denen einer den Kreis zum grafischen 
Nutzer-Interface der Kommunikationsplattform discord schließt. 

Insoweit vollendet Ange wie jedes gute Making-of die Einweihung der 
Betrachter:innen in die Geheimnisse seiner eigenen Produktion und mehrt 
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durch diesen paradoxen Insider-Status deren persönliche Involvierung.?® 
Zugleich erweist sich der quasi-dokumentarische Pakt, den Kiinstler und 
Hauptfigur mit der virtuellen Re-Kreation privater Lebenswelt unter den 
Augen des Publikums eingehen, als komplexer. Der Revelationseffekt speist 
sich daraus, dass die Kiinstler fiir den ihnen nur aus dem Netz bekannten 
Fremden dessen ureigensten Kosmos wie aus dem Nichts erschaffen. Ver- 
stärkt wird der Effekt durch die Spannung oder gar freudige Erwartung, bis 
Ael und den Betrachter:innen die Innenwelt schlussendlich vor Augen steht. 
Das Material fiir diese digitale 3D-Rekonstruktion bleibt indes aus der visuali- 
sierten Produktionserzählung großenteils ausgespart. Neben Aels mündlichen 
Korrekturhinweisen gibt es weitere bildliche und sprachliche Vorlagen, die — 
ähnlich den Punktwolken der Photogrammetrie — (re-)visualisierende Über- 
tragungen in Gang setzen.°! So sind in den ersten ‚skizzenhaften‘ Interieurs 
auch Aels eigene Gemälde verarbeitet, etwa das Porträt des Schreibtischs als 
eine Art Psychogramm, das das sonst aus der adaptierten Anime-Welt gerade 
exkludierte Interface des Computerscreens zum Hauptmotiv erhebt. Hinzu 
kommen literarische Fiktionen, wie das im titelgebenden Bartleby-Zitat I would 
prefer not to evozierte Zimmer des sich aller Aktivität entziehenden Schreibers 
bei Herman Melville, aber auch erinnerte, mentale Bilder der von den Künst- 
lern ihrerseits mit Computerspielen verbrachten Jugend. Mithin sind diese 
Digital-Rekonstruktionen, wo nicht mit Spuren wie bei Rossin, so doch mit 
Schemen einer selbst erfahrenen, vergangenen Lebenswelt unterfüttert. 

Die Sorge der Künstler, mit ihrer digitalen Rekonstruktion gleichsam zu Stal- 
kern zu werden, bezeugt einerseits die Lebensechtheit des virtuellen Modells 
und bekräftigt seine sich verselbständigende Agency. Andererseits lässt sich 
ihre Sorge als zentrale Crux des Dokumentarismus beschreiben, zumal fleury- 
fontaine klassisch (sozial-)dokumentarische Verfahren wie das der Befragung 
einschließen. Als Ausweg aus dem Dilemma, dem Anderen seine Geschichte 
zu ‚rauben‘, gestalteten sie den Prozess als kommunikatives Geben und Neh- 
men. So teilte nicht nur Ael mit ihnen Handyaufnahmen oder seine (auch 
über die Website ael.bot vertriebene) Fan Art. Im Gegenzug schickten ihm die 
Künstler Ansichten jenes Innenraums, den sie während einer Residency in 
Japan bewohnten und den sie wie Rossin photogrammetrisch reproduzierten 
(Abb. 12.5). Vor allem aber lassen sich die Rekonstruktionen, so sehen es fleu- 
ryfontaine selbst, als Produkt einer Arbeit werten, die sie ihrerseits für Ael 
leisten. Eine solche Gegen-Ökonomie des Geschenks opponiert gegen die 


50 Vgl. Hediger, „Spaß an harter Arbeit“, S. 332. 
51 Die Hinweise und Selbstaussagen stammen aus einem Gespräch mit Galdric Fleury und 
Antoine Fontaine am 21.01.2022. 
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Abb. 12.5 = fleuryfontaine, Zimmer der Künstler während einer Residency in Japan, 
Photogrammetrie. Courtesy fleuryfontaine. 


gerade in Open-Source-Kontexten unterschwellige Kultur der Uberbietung®? 
und versucht hier soziale Differenz zu überwinden. Der Rekurs auf das welten- 
generierende Computerspiel bedeutet da ein „meeting on common ground“.53 


3D-Rekonstruktion als Lebensweltbezug 


Anhand der Beispiele von Rachel Rossin und fleuryfontaine ist deutlich 
geworden, in welcher Weise eine sich einkapselnde, welt(en)bildende Virtuali- 
tät, statt konträr zu ihrer lebensweltlichen Diffusion zu stehen, diese voran- 
treiben und reflexiv erfahrbar machen kann. Es lohnt daher, analog zu einem 
ubiquitär in Anwendungen aufgegliederten Virtuellen auch nach den kon- 
kreten Praktiken des virtuellen World-Making und -Building zu fragen. Sie 
erweitern sich ko-evolutionär mit Interface- und Game-Design-Technologien, 
laden nicht selten zur Koproduktion ein und sind als quasi-indexikalische Ver- 
fahren mit den alltäglichen Referenzierungsanforderungen einer Kultur der 
Digitalität verwoben. In dieser Hinsicht sind die photogrammetrischen und 
laserbasierten Scan-Techniken, die die digitale 3D-Rekonstruktion authen- 
tischer Versatzstücke des Alltags ermöglichen, und das Motion Capture zur 


52 Vgl. Maher, „Women’s Hacking“. 
53 Gespräch mit den Künstlern am 21.01.2022. 
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Animation virtueller Doubles noch eingehender kulturwissenschaftlich zu 
erforschen. Von kunsthistorischer Seite verspricht dazu das Verhältnis zu foto- 
grafischen und skulpturalen Abdruck- bzw. Abgussverfahren weiterreichende 
Einsichten. Die Transdisziplinarität der digitalen Methoden, die sich sowohl 
funktional ausdifferenzieren als auch entspezialisieren, erscheint als eine 
wichtige Motivation fiir die kiinstlerische Beschäftigung mit ihnen und wird 
umgekehrt durch diese weiter vorangetrieben. Mitverhandelt werden somit 
Schnittmengen zwischen Architektur, Gaming, digitaler Erinnerungskultur, 
sozialer Vernetzung bis hin zur therapeutischen Nutzung. Sie werden inner- 
halb der kiinstlerisch gestalteten VR-Welten intersubjektiv auf ihre sonst 
wenig hinterfragten Affordanzen, Subjektivierungen und Potenzialitäten hin 
ausgelotet. 
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Bildnachweise 


Abb. 12.1a-d und 12.2a-d: Rachel Rossin, I Came and Went as a Ghost Hand, Cycle 1, 2015, 
VR-Installation (Oculus Rift), VR Captures, Courtesy R. Rossin. 

Abb. 12.3a—d und 12.4a-d: fleuryfontaine, Ange, 2019, Videoinstallation, Farbe, Ton, 
19 min, Videostills, eine Production von Le Fresnoy, Studio National des arts con- 
temporains, Courtesy fleuryfontaine. 

Abb. 12.5: fleuryfontaine, Zimmer der Kiinstler während einer Residency in Japan, 
Photogrammetrie, Courtesy fleuryfontaine. 


Versprochene Realität 


Clemens Schöll, Ortrun Bargholz 


Warum wird Virtual-Reality-Technologie eigentlich so viel verwendet? 
Zumeist bestimmen die vermeintlich neuen und scheinbar unbegrenzten 
Méglichkeiten des Mediums Virtual Reality (VR) den Diskurs. Die Ausstellung 
In VR we trust! sollte die Rolle von VR im Kontext von Kunst verhandeln. Die 
Kuratoren Daniel Hengst und Clemens Schöll — beide Medienkünstler, die 
selbst mit VR arbeiten - schrieben in dem 2020 veröffentlichten Open Call: 


Willst Du auch mitfahren auf dem Virtual-Reality-Hypetrain? Träumst du von 
einer Mischung aus pew-pew Special Effects und empathisierenden, euphorisie- 
renden Erfahrungen? Glaubst du an VR? Glaubst du an Immersion? [...] 
Warum eigentlich? Was für einen Nutzen hat VR wirklich, außer neue Umsatz- 
märkte zu generieren? Welche Hoffnungen verknüpfen wir mitVR, welche Ziele 
fassen wir ins Auge, insbesondere im künstlerischen Bereich? [...] 

[Wir] beobachten den Trend rund um VR kritisch: In dessen Rahmen wurden 
unzählige Ausstellungen und Förderungen organisiert — oft mit künstlerisch 
mittelmäßigen Inhalten, die scheinbar lediglich aufgrund ihres Mediums eine 
Plattform geboten bekamen. [...]? 


Die These dieses Beitrags ist, dass bei der Nutzung von VR die Freude an der 
Technik selbst ausschlaggebend ist und der vorgebliche mediale Nutzen - als 
bloßes Versprechen - zur Rechtfertigung dient. Von persönlichen Erfahrun- 
gen ausgehend, wird der Begriff der unmittelbaren Technikfreude eingeführt. 
Ein Bewusstsein für den Reiz unmittelbarer Technikfreude wäre ein mög- 
licher Zugang für die Analyse der zahlreichen und häufig fragwürdigen 
Verwendungen von VR. Dabei rücken die Versprechen, welche die Techniknut- 
zung rechtfertigen, in den Fokus. Die Abkürzung VR könnte somit alternativ 
als Versprochene Realität gelesen werden. Diese Interpretation wird am Bei- 
spiel von Empathie-Versprechen durch VR veranschaulicht. Um Alternativen 
aufzuzeigen, werden zwei künstlerische Zugänge präsentiert, mit Versprechen 
beziehungsweise Virtualität umzugehen - auch wenn die abschließend umris- 
sene, grundlegende Schwierigkeit systemimmanenter Kritik kaum zu vermei- 
den ist. 


ı Scholl und Hengst, In VR We Trust. 
2 Schöll und Hengst, „Open Call“. 
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Bwana, der Teufel des Medienhypes 


Bei jeder Technik-Kritik liegt es nahe zu fragen: Galt dieselbe Kritik nicht auch 
schon früheren Technologien? Drei kurze Exkurse präsentieren Bilder, die 
jeweils emblematisch für eine mediale Epoche der letzten einhundert Jahre 
stehen. In den drei einander ähnlichen Bildausschnitten (Abb. 13.1, 13.3, 13.4) 
sitzen (vornehmlich) Männer, die auf Technik starren. 

Das Zeitalter der technischen Neuerung im Wohlstand (Abb. 13.1): ein Bild 
von der Premiere des Films Bwana Devil (1952), dem ersten Langfilm in 3D.3 
Abgebildet sind Reihen von Zuschauer:innen in einem Kinosaal, die polari- 
sierte Brillen über leicht geöffneten Mündern tragen und wenig Gesichts- 
ausdruck zeigen. Es wird der passive, „nahezu tranceartige Zustand der 
Absorption“* vermittelt. Das Bild fand große Verbreitung? und entwickelte 
ein Eigenleben: Die Darstellung wurde als sinnbildlich für die „Entfremdung 
der späten Konsumkultur“¢ in der Nachkriegszeit der USA angesehen und 
unter anderem als Umschlagbild der US-Ausgabe von Guy Debords La socie- 
te du spectacle verwendet.” 

Anfang der 1950er Jahre nahm die Zahl der Kinogänger:innen in den USA 
drastisch ab.® Dies wird vor allem mit der Verbreitung von Fernsehapparaten 
in Verbindung gebracht. Um dem entgegenzuwirken, entwickelten verschie- 
dene Filmstudios technische Neuerungen, wie zum Beispiel das breitere 
Cinemascope-Format. Bwana Devil löste einen kurzweiligen 3D-Kino-Hype 
aus, der sich allerdings schnell überlebte, da die Zuschauer:innen von mittel- 
mäßigen, übereilt produzierten 3D-Filmen bald enttäuscht waren.? In den 
folgenden Jahrzehnten erlebte 3D-Kino mehrere Hype-Wellen - zuletzt nach 
dem Erfolg des Films Avatar (2009), der erneut einen zeitweiligen Anstieg an 
3D-Kinoproduktionen nach sich zog. 


Cosgrove, „Revisiting a Classic LIFE Photo of a Rapt Film Audience“. 

Levin, „Dismantling the Spectacle“. „virtually trance-like state of absorption“. 
Cosgrove, „Revisiting a Classic LIFE Photo of a Rapt Film Audience“. 

Levin, „Dismantling the Spectacle“. ,alienation of late consumer culture“. 
Debord, Society of the Spectacle. 

„The American Film Industry in the Early 1950s“. 

„3-D (Motion Picture Process)“. 
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Abb. 13.1 

Zuschauer:innen tragen 3D-Brillen während 
der ersten Vorfährung von Bwana Devil. 

Foto J.R. Eyerman, 1952. 

Abb. 13.2 und 13.3 

TV-Werbung 1984 fär Apple, 1983, Regie: 
Ridley Scott (Stills). 

Abb. 13.4 

Mark Zuckerberg auf einem Samsung-Event, 
2016. 
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Alle Jahre wieder 


Rund um Weihnachten gibt es bei Almans!° viele bekannte Traditionen und 
Rituale, die unsere Familien in großen Teilen reproduzieren — in Form von 
Handlungsabfolgen, Essen und Musik. Die öffentliche Aufmerksamkeit liegt 
besonders auf dem Kaufen und Überreichen von Geschenken. Ein privater 
Aspekt des Beschenktwerdens geht dabei eher unter: Die ersten beiden Feier- 
tage haben wir als Kinder meist durchgehend mit der erfüllenden Tätigkeit 
verbracht, die neuen Geschenke zu erproben. Ein neues Brettspiel wurde zum 
ersten Mal gespielt, ein Baukasten lud zu ausgiebigen Experimenten direkt 
unterm Weihnachtsbaum ein oder eine neue Kamera wurde ausprobiert. 
Aber beschreibt ‚ausprobieren‘ tatsächlich das, was wir damals taten? 
Ohne wirklichen Hintergedanken wurde ausgelotet, was möglich war. Dabei 
besteht eine Abhängigkeit zwischen der Komplexität der Geschenke und 
der Befriedigung, die sich aus der Beschäftigung mit ihnen gewinnen lässt. 
Je durchschaubarer das Geschenk, desto schneller erschöpft sich die Experi- 
mentierfreude, und je vielfältiger die Möglichkeiten, desto länger hält der 
begeisternde Effekt an. Die Grenzen der Möglichkeiten werden ausgetestet 
und aus den Möglichkeiten Freude gewonnen, ohne ein objektiv anerkanntes 
Ziel zu verfolgen, geschweige denn zu erreichen. Ein Kind würde dafür wahr- 
scheinlich das Wort ‚spielen‘ verwenden. Die Beschäftigung mit einem neuen 
Geschenk hat viel Spielerisches. Es ist zunächst ein Selbstzweck: Der Mensch 
möchte das neue Objekt kennen lernen, ohne das Gelernte gezielt anwenden 
zu müssen — was nicht ausschließt, das dabei Erlernte irgendwann gezielt 
anwenden zu können. Für die Bezeichnung dieser Tätigkeit als Spiel fehlen 
allerdings Regeln oder ein erkenntliches Gameplay." Gerade die Abwesenheit 
von Zielen, Regeln und Strukturen macht den kindlich-erprobenden Umgang 
mit einem neuen technischen Gegenstand aus. Es handelt sich eher um einen 
Aneignungsprozess. Dabei kann nicht nur zuvor Unbekanntes entdeckt, son- 
dern können auch im Vorhinein bekannte Eigenschaften und bestimmte 
Funktionalitäten erlebt werden. Das Ausprobieren von Technik als Erlebnis — 
ist das die eigentliche Bedeutung des unscharfen Ausdrucks VR experience‘? 
Etablierte Weihnachtsrituale werden meist beibehalten und begleiten uns 
auch als Erwachsene. Doch die kindliche Vorfreude und Aufregung kommen 


10 Die beiden Verfasser:innen des Textes identifizieren sich selbst als Almans und verwen- 
den den Begriff nicht als Ethnophaulismus, sondern als Beschreibung von „deutscher 
Kultur und Brauchtum, Sprache, Humor, Ess- und Trinkgewohnheiten, deutschem Ver- 
halten und Spießbürgerlichkeit und allgemein zu deutscher Lebens- und Arbeitsmoral.‘ 
(„Ethnophaulismen für Deutsche‘). 

11 Suits, ‚What Is a Game?“; Gray, „Play as a foundation for hunter-gatherer social existence", 
S. 480. 
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uns abhanden, was bedauernswert ist, da sie alle Geschenke und Rituale 
ungleich groBartiger erscheinen lassen. Hinzu kommt, dass sich die Art der 
Geschenke fär Erwachsene ändert: Computer, Kameras und sonstige Geräte 
sind fär viele zu Arbeitswerkzeugen geworden, die bedarfsorientiert zu einer 
beliebigen Zeit des Jahres angeschafft werden. 


Unmittelbare Technikfreude 


Arbeitswerkzeuge dienen dem Erreichen eines Ziels. Ihre Verwendung kann 
eine mittelbare Technikfreude über die gegebenen Möglichkeiten hervorrufen, 
die Voraussetzung sind, um das Arbeitsziel zu erreichen. Dem gegenüber steht 
eine unmittelbare Technikfreude, die aus der Nutzung der Geräte selbst ent- 
springt. Besonders intensiv scheint diese Freude in ihrer Erstmaligkeit zu sein, 
also bei der Neuentdeckung der Möglichkeiten. Für Erwachsene sind diese 
Momente der unmittelbaren Technikfreude vielleicht unabhängiger von Feier- 
tagen, aber nicht weniger erfüllend und demnach weiterhin anziehend. Wer- 
den mangels weihnachtlicher Freuden alternative ‚Spielwiesen‘ nunmehr auch 
im professionellen Kontext gesucht? Kann die Faszination für VR-Projekte 
über den Mechanismus unmittelbarer Technikfreude besser erklärt werden als 
über ihre Inhalte? 

Für das Gefühl unmittelbarer Technikfreude scheinen Inhalte irrelevant 
zu sein: Beispielsweise sind für das Ausprobieren einer neuen Kamera nicht 
die Bilder von Interesse, sondern das Zoom-Objektiv, der Autofokus, die 
Menüführung sowie Einstellungsoptionen. Oft ermöglichen die Standardein- 
stellungen bereits einfache und dennoch unerwartete Kunstgriffe, die sich 
schnell zu einem effektvollen Output verarbeiten lassen. Auch seitens der Rezi- 
pient:innen scheinen die Inhalte in diesem Modus nachrangig, denn solange 
der Effekt neu ist, beeindruckt er und wird dankbar angenommen. Somit stellt 
die unmittelbare Technikfreude sowohl die Produzent:innen als auch Rezi- 
pient:innen zufrieden. Sie funktioniert als System, zumindest solange immer 
neue technische Entwicklungen erlebt werden können. 

Wie verändert sich die Beurteilung von VR-Anwendungen mit der Annahme, 
dass der eigentliche Beweggrund für die Nutzung von und Beschäftigung 
mit VR in der unmittelbaren Technikfreude liegt? Sind die vermeintlichen 
Begründungen für VR nicht eher vorgeschoben, weil unmittelbare Technik- 
freude in der offiziellen Kommunikation über VR-Kunst und andere VR- 
Anwendungen nicht anerkannt ist? Stellen die alternativen Gründe für die 
VR-Nutzung nicht vielmehr Versprechen dar, die oft gar nicht erfüllt werden 
können? 


206 CLEMENS SCHÖLL, ORTRUN BARGHOLZ 
1984: technologische Versprechen 


Das Zeitalter technologischer Versprechen als Erlösung (Abb. 13.2 und 13.3): 
zwei Stills aus der TV-Werbung 1984 aus dem Jahr 1983. Ridley Scott, damals 
bereits bekannt als Regisseur von Blade Runner, konzipierte die Werbung 
für Apple. Die Bezugnahme auf George Orwells 1984 war intendiert und ist 
sowohl inhaltlich als auch in der Bildsprache klar zu erkennen.! Eine gräulich- 
bläuliche Lichtstimmung bestimmt die Szene. Uniform grau gekleidete Män- 
ner marschieren durch Tunnel in eine große Halle, in der sie auf Bänken 
sitzend konzentriert auf einen mehrere Meter hohen, wandfüllenden Fern- 
seher blicken (Abb. 13.3). Von dort spricht ein Mann mit Brille, eine Referenz 
auf ‚Big Brother‘ aus Orwells Werk, zu den grauen, kahlköpfigen Männern. Eine 
Frau in einem farbigen, sportlichen Outfit rennt mit einem Vorschlaghammer 
in den Saal, während sie von Sicherheitspersonal in voller Montur verfolgt 
wird (Abb. 13.2). Die unbenannte Heldin, als allegorische Personifizierung des 
ersten Macintosh-Computers, zerstört den Fernseher mit ‚Big Brother‘, der ver- 
mutlich für IBM stehen soll. Sie repräsentiert ein Versprechen von Befreiung 
durch Technologie: „On January 24th, Apple Computer will introduce Macin- 
tosh. And you'll see why 1984 won't be like 1984.4 


Versprechen als Prinzip 


Ankündigungen von VR-Ausstellungen, -‚Erfahrungen‘ und -‚Events‘ lesen 
sich häufig, als wären vollmundige Antragstexte an Finanzier:innen direkt 
für die öffentliche Kommunikation der Veranstaltungen übernommen wor- 
den: „Das Eintauchen in die Kunst ermöglicht den Betrachtenden eine neue 
Wahrnehmung des eigenen Seins — in Bezug auf sich selbst und auf die 
Gesellschaft.? Betont wird auch die Bedeutung von VR für „[...] erkenntnis- 
theoretische Fragen: Wie ist die Wirklichkeit strukturiert?“!6 Die „mission“ der 


12 LoBrutto, Ridley Scott, S. 87ff. 

13 Gallo, „Mac 1984“. 

14 Ridley, 1984. In einem Interview kommentierte Brent Thomas, zuständiger Art Director, 
„We did not say the computer will set us free - I have no idea how it will work out. This was 
strictly a marketing position.‘ (Burnham, „The Computer, The Consumer and Privacy“.) 
Dies unterstreicht letztlich, wie Technologie-Versprechen als realitätsfernes Marketing- 
Instrument verwendet werden. 

15 DKB,,VR Kunstpreis“. 

16 NRW-Forum Düsseldorf, „Unreal“. 
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firmeneigenen Kunstförderung von VIVE sei gar, ,Experimente zur Bewahrung 
des kulturellen Erbes fär die Welt zu ermöglichen und das Erschaffen, durch 
digitale Innovation in den Künsten, zu demokratisieren.!7 

Doch ware es zu kurz gegriffen, diese Versprechen nur als Marketing abzu- 
tun. Versprechen kénnen ein Eigenleben entwickeln und als selbsterfiillende 
Prophezeiungen wirken. In Bezug auf VR entspräche dem, dass der ver- 
sprochene Zustand erst durch den Glauben an die Technik erreicht werden 
kann. Der Aspekt des Vertrauens wird in dieser Beschreibung des Funktions- 
prinzips von Versprechen deutlich: 


When I promise someone to do something then, if all goes well, as a result of my 
promise they come to trust that I will do that thing. But this trust, on the expec- 
tational view, is the source of my obligation to do what I promise.!® 


Letztlich bilden Versprechen eine Dreiecksbeziehung zwischen der verspre- 
chenden Instanz, dem Versprochenen und der vertrauenden Instanz. Sie sind 
keine Zusage, kein legales Konstrukt, weder Eid noch Vertrag. Sie sind ein 
moralphilosophisches Konstrukt, das auf Werten wie Ehrlichkeit und Ver- 
trauen basiert. Auch technologische Versprechen seitens Firmen erzeugen 
in einer moralphilosophischen Betrachtung die Verpflichtung, dass die Ver- 
sprechen sowohl erfüllbar sind als auch gehalten werden. Sobald Künst- 
ler:innen, Institutionen et cetera die Technologien nutzen, reproduzieren 
sie — gewollt oder ungewollt — die daran geknüpften Versprechen, was im 
Interesse der nutznießenden Parteien, meist Unternehmen, ist. Die Kunst- 
Akteur:innen werden Teil der Dreiecksbeziehung: als versprechende Instanz, 
der Vertrauen entgegengebracht wird. Dieses Verständnis spiegelt sich auch 
in dem Ausstellungstitel In VR we trust wider. Eine zunächst harmlos wir- 
kende primäre Technikfreude entspricht im Zweifelsfalle der Beteiligung an 
einem unhinterfragten System der Versprechungen. Was und wie wird uns ver- 
sprochen? Wollen wir diese versprochenen Realitäten? 


17 VIVE, ,VIVE Arts“. VIVE Arts’ mission is to enable experimentation in preserving cultu- 
ral heritage for the world and to democratize creation through digital innovation in the 
arts.“ 

18 Habib, „Promises“. 
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Wie man an technologischen Versprechen verdient 


Um die Attraktivität von Versprechen aus der Sicht von Unternehmen zu 
verstehen, ist die Axon Enterprise in den USA ein aufschlussreiches Beispiel. 
Die Firma ist fär ihre Elektroschock-Pistole Taser bekannt, deren Techno- 
logie 1972 patentiert wurde. Die Taser wurden urspriinglich verkauft mit dem 
Versprechen, eine nicht-tédliche Waffe zu sein, und als Teil der Ausstattung 
vieler Polizeieinheiten angeschafft. Der Mitgründer und CEO von Axon ver- 
sprach eine technologische Lösung für die Gefahr von Tötungen durch Poli- 
zeigewalt: „Töten ist ein technologisches Problem, aber mit den richtigen 
technologischen Lösungen kann die Menschheit darüber hinauswachsen. Wir 
töten, weil es — derzeit — der zuverlässigste Weg ist, eine Bedrohung zu stop- 
pen.9 Nichtsdestotrotz wurden in den USA laut Reuters über 1.000 Todesfälle 
mit der Verwendung von Tasern in Verbindung gebracht. Allein 2018 starben 
dort mindestens 49 Personen, nachdem sie mit einem Taser geschockt wur- 
den.?° Inzwischen wird die Waffe daher sowohl vom Hersteller als auch den 
Behörden, entgegen dem ursprünglichen Versprechen, größtenteils als „weniger 
tödlich“ bezeichnet,” je nach Region auch als „tödlich“.?? 

Nachdem Axon 2005 die erste Aufsteck-Kamera für besagte Elektroschock- 
Pistole anbot, brachte die Firma 2008 eine eigenständige Body Camera auf den 
Markt, die Einsatzkräften helfen sollte, ihre Schilderungen von umstrittenen 
Situationen transparent zu stützen. Nachdem Michael Brown im Jahr 2014 
von einem Polizisten getötet wurde, stellte Präsident Obama 75 Millionen 
US-Dollar für den Kauf von 50.000 Body Cameras bereit, um Vertrauen in die 
Polizei wiederherzustellen.?® Eine Meta-Studie von 2019 belegte allerdings 
keinen anhaltenden Rückgang der Polizeigewalt, lediglich einen Rückgang an 
Beschwerden gegen Polizist:innen. Da zugleich keine höhere Zufriedenheit 
der Zivilgesellschaft mit Polizist:innen festzustellen war, wird vermutet, dass 
Body Cameras Zivilist:innen schlicht davon abhalten, sich zu beschweren. ?* 


19 Axon, „Axon CEO Releases The End of Killing, a Road Map to Solve One of Humanity’s 
Biggest Problems“. „Killing is a technology problem, but with the right technology solu- 
tions, humanity can outgrow it. We kill because, today, it is the most reliable way to stop a 
threat." 

20 Reid und Janowski, „Factbox“. 

21 Miller, „Taser Responds to New Times Investigation, Denies Blame for Abuse“. 

22 Ortiz und Peebles, „Rayshard Brooks Died after He Was Shot by Atlanta Police Officer 
Garrett Rolfe. What Happens Now?“ 

23 Brandom, „Obama Announces Funding for 50,000 Police Body Cameras“. 

24 Lumua, „Research on body-worn cameras“. 
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Im Mai 2021 kündigte Axon ein weiteres Produkt an: „Der VR-Simulator 
von Axon bietet immersive Virtual-Reality-Inhalte, die den Beamten helfen 
können, kritisches Denken, Deeskalation und taktische Fähigkeiten zu ent- 
wickeln.“?° Damit verspricht die Firma abermals, Polizeigewalt mit techni- 
schen Mitteln verhindern beziehungsweise reduzieren zu können — dieses 
Mal mithilfe von VR. Eine fundierte Grundlage, dass VR-basiertes Training 
kostenrechtfertigende Vorteile biete, hat Axon bisher nicht vorgelegt.2° Der 
CEO verspricht, dass die Investition seiner Firma in VR einen Anteil an einem 
Gesamtmarkt im Wert von 2 Milliarden US-Dollar ermögliche.?7 Dies ist im 
Kontext der Versprochenen Realität das Versprechen einer Firma an sich selbst 
und ihre Aktionär:innen, Geld mit VR verdienen zu können. 

Staatliche Investitionen in technische Maßnahmen zur Verminderung von 
Polizeigewalt sind im Kontext begrenzter Ressourcen zugleich als Verhin- 
derung anderer Maßnahmen zu verstehen, die den betroffenen Gruppen hel- 
fen könnten. Diese Ansicht wurde in den USA unter dem Slogan ‚Defund the 
police‘ radikal vertreten. Es geht also nicht allein um die Einlösung techno- 
logischer Versprechen, sondern auch darum, in welcher Konkurrenz um Res- 
sourcen diese Versprechen stehen. Aus Axons Investition in diesen Markt 
spricht ihre Annahme, dass Entscheidungsträger:innen die technologischen 
Versprechen erneut glauben werden. 


Das Empathie-Versprechen 


Viele Einzelaspekte von VR wurden zuvor bereits in Science-Fiction themati- 
siert.28 Auch die Idee einer Empathie-Maschine tauchte bereits 1964 in einer 
Sci-Fi Kurzgeschichte auf: 


25 Axon, „Axon Launches New Virtual Reality Simulator Training for Today's Public Safety 
Challenges“. „Axon’s VR Simulator will provide immersive virtual reality content that can 
help officers develop critical thinking, de-escalation and tactical skills“ 

26 Fassler, „Axon Is Now Selling VR Training That Won't Stop Cops From Killing People“. 

27 Smith, Larson, und Ahsad, ,Axon CEO Rick Smith on Q4 2020 Results“. 

28 Beispielsweise entstammt der Begriff „Metaverse“ dem Roman Snow crash. (Stephenson, 
Snow crash.) Zuletzt wurde der Begriff durch Facebooks Firmenumbennenung in Meta 
geadelt und in die breite Öffentlichkeit gebracht. Dieser Rückbezug auf Sci-Fi überrascht 
bei genauerer Betrachtung, denn - wie Arthur C. Clarke bemerkt - beinhaltet Sci-Fi eher 
albtraumhafte Versprechen: „Science fiction is something that could happen - but you 
usually wouldn’t want it to. Fantasy is something that couldn’t happen - though you often 
only wish that it could.“ (Clarke, The Collected Stories of Arthur C. Clarke, S. xi.) 
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If you grip the handles, sir, you will ... share his suffering, as you know, but that 
is not all. You will also participate in his ...“ Mr. Lee reflected. „World-view‘ is not 
the correct term. Ideology? No." [...] „No word will do, and that is the entire point. 
It cannot be described - it must be experienced.?? 


Der Regisseur Chris Milk beschrieb 2015 seinen 360°-Dokumentarfilm Clouds 
over Sidra (vermarktet als „virtual reality experience“®°) als „die ultimative 
Empathiemaschine“ („the ultimate empathy machine“*!). Der in Kooperation 
mit den Vereinten Nationen entstandene Film konfrontiert die Rezipient:in- 
nen mit einem aus Syrien geflüchteten Mädchen in einem Lager in Jordanien. 
Milk ist überzeugt: „[...] Sie fühlen ihre Menschlichkeit auf eine tiefgründi- 
gere Art. Sie fühlen viel stärker mit. Deshalb denke ich, dass diese Maschine 
unsere Gedanken verändern kann.“3? Unmittelbar resultierte die vermeintlich 
erzeugte Empathie allerdings in der Finanzierung seitens der Vereinten Natio- 
nen für eine Serie weiterer 360°-Filme und nicht in konkreter Hilfe für die in 
den Lagern lebenden Menschen. In Folge von Milks TED -Talk entwickelte sich 
der Ausdruck „ultimate empathy machine“ zu einem „marketing catchphrase“ 
für VR.33 

Die Idee einer Empathiemaschine verfolgte auch die spanische Firma 
BeAnotherLab mit der Entwicklung ihrer The Machine to be Another°*. Der 
Name suggeriert, es sei möglich, jemand anderes zu sein. Die ‚Maschine‘ 
wird auf Events sowie in Workshops eingesetzt und besteht aus einer VR- 
Anwendung in Kombination mit Live-Performer:innen, die sich verschiede- 
nen inhaltlichen Kontexten widmet, darunter „Asylbewerber:innen in einem 
Auffanglager in Israel, ein:e Irak-Veteran:in in den USA, ein:e afrikanische:r 
Migrant:in in Spanien und Opfer von Polizeigewalt in Brasilien“.?° Die Ent- 
wickler:iinnen bezeichnen ihr Projekt als ein „artistic system“.?® In ihrem 
Artikel „Learning Empathy Through Virtual Reality: [...]“37 verstehen sie ‚The 
Machine to be Another‘ als „eine künstlerische Erforschung von Methoden der 


29 Dick, „The Little Black Box“. 

30 UNICEF USA, „Clouds over Sidra‘. 

31 Milk, „How virtual reality can create the ultimate empathy machine‘, 3:03. 

32 Milk, 7:50. „[...] you feel her humanity in a deeper way. You empathize with her in a dee- 
per way. And I think that we can change minds with this machine.” 

33 Wimmer, „The „Ultimate Empathy Machine“ Revisited‘, S. 132. 

34 Bertrand u.a., „The machine to be another — embodied telepresence using human per- 
formers‘: ,asylum seekers in a detention center in Israel, an Iraq veteran in the USA, an 
African migrant in Spain and victims of police brutality in Brazil". 

35 Bertrand u.a., „Learning Empathy Through Virtual Reality“. 

36 Ebd. 

37 Ebd. 
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verkörperten [embodied] VR zum Erlernen von Empathie“38. Ausgehend von 
dem Sprichwort „to walk a mile in someone else's shoes“ beschreiben sie fol- 
gendes Setup als empathiebildend: 


In this installation, two users swap perspectives using VR headsets and first- 
person cameras, while being instructed to move slowly and to collaborate with 
each other in order to synchronize their movements while the artists provide 
physical interactions to stimulate touch.3? 


Die politische Relevanz der behandelten Settings soll in beiden Beispielen ein- 
drücklich vermitteln, dass die empathiebildenden Maßnahmen für die globale 
Weltgemeinschaft die zentrale Motivation für die Anwendung von VR bilden. 
Vor dem Hintergrund unmittelbarer Technikfreude drängt sich nun die Frage 
auf, ob das Versprechen von Empathiebildung beziehungsweise der Möglichkeit 
„to be another“ eventuell nur ein Vorwand sind, um mit VR arbeiten zu können? 


Von der Heldin zu Big Brother 


Das Zeitalter der Technikdystopie (Abb. 13.4): eine Fotografie von einem 
Samsung-Event 2016. Mark Zuckerberg, CEO von Meta, läuft lächelnd und 
leger gekleidet zur Bühne — an Teilnehmern vorbei, die ihn nicht sehen, da 
alle mit Head-Mounted Displays auf dem Kopf in Stuhlreihen sitzen. Dabei 
handelt es sich um Samsung Gear VR, ein Smartphone-basiertes VR-System, 
das von Samsung in Kooperation mit dem VR-Hersteller Reality Labs (seiner- 
zeit Oculus, Teil von Meta) entwickelt wurde, und wegbereitend für die Ver- 
breitung einer massen- und heimkompatiblen VR-Nutzung war. Das Foto 
postete Zuckerberg damals kommentarlos selbst bei Facebook, was darauf 
hindeutet, dass er sich in seiner Rolle gefiel. Die Reaktionen in den ‚sozialen‘ 
Medien waren hingegen negativ: es wurde ein Symbolbild darin gesehen, das 
„wie eine Konzeptzeichnung für einen neuen dystopischen Science-Fiction- 
Film aussieht“ und der visuell naheliegende Vergleich zu Ridley Scotts 1984 
gezogen.*° Auch Mark Zuckerberg personifizierte hier eine Technologie. Bloß 
wurde er dabei nicht als heldinnenhafte Befreierin, sondern als ‚Big Brother‘ 
gelesen. 


38 Ebd.: „an artistic exploration of EVR [embodied virtual reality] methods for learning 
empathy“. 

39 Ebd. 

40 McCormick, „This Image of Mark Zuckerberg Says so Much about Our Future“ „looks like 
concept art for a new dystopian sci-fi film“; Stein, „All the Ways People Freaked out about 
This Insane Zuckerberg VR Photo“. 
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Pivot to video! Pivot to VR? 


Der Unterschied zwischen einem alltäglichen Versprechen und einer rechts- 
verbindlichen Zusage lässt sich anhand einer Strategie von Facebook nachvoll- 
ziehen. Mark Zuckerberg versprach 2015 einen ,pivot to video‘ (,Schwenk [der 
Unternehmenstrategie] zu Video”): ‚Wir treten in dieses neue goldene Zeitalter 
des Videos ein. Es würde mich nicht wundern, wenn in fünf Jahren die meisten 
Inhalte, die die Menschen auf Facebook sehen und tagtäglich teilen, Videos 
sind.“*! In Folge dieser Ankündigung priorisierte Facebook Videoformate auf 
seiner Plattform und Zeitungsverlage kündigten Text-Redakteur:innen, um 
Video-Abteilungen aufzubauen. Die Videos der Verlage auf Facebook erhielten 
hohe Views - bloß waren diese View-Zahlen fälschlich erhöht und in Wirklich- 
keit sanken die realen Views auf den Seiten der Verlage.*? Facebook war sich 
der falschen View-Zahlen bewusst und zahlte in einer Einigung, ohne Schuld- 
eingeständnis, 40 Millionen US-Dollar an die klagenden Werbefirmen.*? 

Der Autor Cory Doctorow sieht in Zuckerbergs Ankündigung neben einer 
Lüge (ein falsches Versprechen), auch den Versuch, eine selbsterfüllende Pro- 
phezeiung (ein eigenmotiviertes Versprechen) zu kreieren: „Facebook knew 
that no one was watching [the] videos. They were just betting that they could 
fake it until they made it.“** 2016 antizipierte Zuckerberg bereits, dass auf den 
‚pivot to video‘ eine Fokussierung auf VR folgen würde: 


Wenn wir uns das Internet vor zehn Jahren anschauen, teilten und nutzten 
die Leute in erster Linie Text. Im Augenblick sind es viele Fotos. Ich meine, im 
nächsten Schritt wird vieles davon Video sein. Es wird immer reichhaltiger. [...] 
Künftig wird man eine ganze Szene [...] aufnehmen, sich in [diese] hineinver- 
setzen wollen.*° 


41 Honan, „Why Facebook And Mark Zuckerberg Went All In On Live Video“. , We're entering 
this new golden age of video. I wouldn't be surprised if you fast-forward five years and 
most of the content that people see on Facebook and are sharing on a day-to-day basis is 
video“ 

42  Lapowsky, „A New Facebook Suit Makes ‚Pivot to Video‘ Even More Myopic“. 

43 White, LLE One, LLC v. Facebook; Facebooks Schuld, insbesondere an den Kiindigungen, 
wird allerdings nicht nur von der Firma selbst bestritten. (vgl. Mullin, ,Are Facebook’s Bad 
Metrics to Blame for ‚Pivot to Video’?“). 

44 Doctorow, ,Facebook’s Alternative Facts: If You Don’t like Your Transparency Portal’s 
Data, Shut It Down“ 

45 Mark Zuckerberg, zit. in: Döpfner, „Mark Zuckerberg: ‚Die Angst vor künstlicher Intelli- 
genz ist hysterisch“. 
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Mit einer ähnlichen Herleitung präsentiert Zuckerberg 2021 die VR-Strategie 
von Meta und bezeichnet VR als den „Nachfolger des mobilen Internets“.*6 
Doctorows Lesart des ‚pivot to video‘ wirft die Frage auf, ob Meta erneut ver- 
sucht, eine selbsterfüllende Prophezeiung hinsichtlich des Erfolgs von VR 
zu etablieren. Auf die Frage, ob ,VR nicht bloß ein Hype“ sei, lautete Zucker- 
bergs Antwort: „Am Ende wetten wir darauf, dass Virtual Reality eine wichtige 
Technologie werden wird. Ich bin ziemlich sicher, dass ich diese Wette gewin- 
nen werde.“*” Nur wenn andere Menschen Zuckerberg glauben, dass er die 
Wette gewinnen kann, wird er sie gewinnen können. 


Mark 


Stellen wir uns einmal vor, Mark Zuckerberg würde auf Abb. 13.4 nicht zur 
Bühne einer Konferenz, sondern zum Ring einer Wrestling-Arena schreiten. 
Es bestehen Parallelen zwischen der Funktionsweise von Zuckerbergs Aus- 
sagen und Wrestling. Im Wrestling bezeichnet ‚Mark‘ einen „Fan, der sämtliche 
Vorkommnisse im Wrestling für echt hält; für den also das Kayfabe unein- 
geschränkt gilt.“*® Kayfabe beschreibt das unausgesprochene Einverständ- 
nis zwischen Zuschauer:innen und den Beteiligten der Wrestling-Industrie, 
dass zwar sowohl die Kämpfe als auch die Rahmenhandlung geskriptet sind, 
aber alles für authentisch befunden wird. Kayfabe ermöglicht einstudierte, 
ungefährliche und dennoch spektakuläre Shows. Die Komplexität der Über- 
lagerungen zwischen Rolle und Realität führt dazu, dass eigentlich fiktive Ele- 
mente gelegentlich real werden und klassische Konzepte von ‚real‘, ‚fiktiv‘ und 
virtuell‘ in Frage zu stellen sind.*9 Kann der VR-Hype als eine Show verstanden 
werden, die wie Wrestling auf Kayfabe basiert? Sind wir Marks in Anbetracht 
der Versprechen durch Technologie? 


Zukunftsversprechen? 


Welche Bedeutung VR langfristig haben wird und ob Zuckerbergs Prophe- 
zeiungen Wirklichkeit werden, lasst sich in keine Richtung vorhersagen — 
geschweige denn, ob VR jenseits von Verkaufs- und Profitzahlen eine positive 


46 Zuckerberg, „Connect 2021: our vision for the metaverse.“, 1:49. „successor to the mobile 
internet“. 

47 Mark Zuckerberg, zit. in: Döpfner, „Mark Zuckerberg: ‚Die Angst vor künstlicher Intelli- 
genz ist hysterisch“. 

48 „Liste von Wrestling-Begriffen“. 

49 Weinstein, „Kayfabe“. 
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Rolle spielen wird. VR als Versprechen in Frage zu stellen, soll vielmehr den 
aktuellen Umgang mit VR reflektieren. VR ist als Bestandteil einer langfristigen 
Entwicklung zu betrachten. Hinsichtlich der Verbreitungsgeschwindigkeit ist 
selbst Zuckerberg zuriickhaltend: ,Es hat zehn Jahre gebraucht, bis wir seit der 
Entwicklung des ersten Smartphones einen Massenmarkt erreicht haben. [...] 
Deshalb kann ich mir nicht vorstellen, dass es mit Virtual Reality viel schnel- 
ler geht.5° Für eine Einordnung der Eigendynamik einer Technologie hilft 
ein Blick auf die Fotografie, deren Massenverbreitung über 175 Jahre dauerte. 
Erst Ende 2021 nutzen über 80% der Weltbevölkerung ein Smartphone?! und 
haben somit auch fast jederzeit eine Kamera dabei. Und erst in dieser Endstufe 
von Selbstverständlichkeit stellt sich die Lebensrealität vollkommen auf eine 
Technologie ein. Bis dieser Zustand mit VR — wenn überhaupt - je erreicht 
wird, wird es noch Jahrzehnte dauern. In der Zwischenzeit ist trotzdem wich- 
tig, die Entwicklung einer Zukunft mit VR kritisch zu begleiten und sich folg- 
lich auch mit der eigenen Rolle in dieser Entwicklung auseinanderzusetzen. 


Versprochene-Realität-Kunst 


Welche Rolle kann VR-Kunst in dieser Ausgestaltung einnehmen? Der Kunst- 
historiker Andreas Broeckmann kommentierte das In VR we trust Projekt wie 
folgt: 


Die Formulierung ‚VR-Kunst‘ tappt meines Erachtens in die alte Medienkunst- 
Falle, den künstlerischen Gehalt doch vorrangig über das technische Medium zu 
erschließen; man kann das machen, ist dann aber doch gleich wieder gefangen 
in der Blase, aus der [In VR we trust] die Debatte ja begrüßenswerter Weise 
herausführen [will].52 


Es bestehen zweierlei Verständnisse des deutschen Begriffs „Medienkunst“. 
Einerseits als Kunst mit Medien, in der Regel mit neuen Medien. Diese repro- 
duziert oft technologische Versprechen, da sie entweder aus einer eige- 
nen primären Technikfreude entsteht oder von der Neuheit der Technik 
und ihrem Effekt auf die Betrachter:innen lebt. Andererseits besteht ein 


50 Mark Zuckerberg, zit. in: Döpfner, „Mark Zuckerberg: ‚Die Angst vor künstlicher Intelli- 
genz ist hysterisch“. 

51 Ergibt sich aus der Anzahl der Smartphone-Nutzer:innen dividiert durch Weltbevölke- 
rung; vgl. „Number of Smartphone Users from 2016 to 2021“; ,;Worldometer — Real Time 
World Statistics“. 

52 Broeckmann und Schöll, „E-Mail Austausch zu In VR we trust“. 
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Medienkunst-Verständnis als Kunst iiber Medien, in dem die Medialität selbst 
eine zentrale Rolle einnimmt. Während VR-Kunst meist als Kunst mit VR ver- 
standen wird, ist fär eine kritische und gestaltende Haltung zu erörtern, ob es 
auch VR-Kunst im Sinne einer Kunst über VR als versprochene Realität geben 
kann? 

Im Rahmen von In VR we trust haben wir die Beziehungen zwischen Kunst 
und VR anhand von vier künstlerischen Positionen erörtert, darunter die von 
Dani Ploeger. Auf die Frage „How did you come to VR and how do you relate to 
it?“ antwortete er in dem Künstlergespräch: 


For me, a technology is something that is very much tied into the myth of prog- 
ress. [...] So when I look at a technology — and VR is no different — I am interested 
in what the place of this technology is in the world we live in. [...] 

The way I came to VR and the reason I started using it is not primarily because 
I thought ,Oh wow, this will give me so many new possibilities in terms of aes- 
thetic virtuosity or intense experiences!“ but it was much more ,Oh, this thing is 
a hype now! What does that mean? What kind of promises is it promoted with?“. 
The other thing which I find interesting is what was really offered. Which is in my 
opinion still a very narrow range of experiences. [...] It’s the same with cinema, 
actually [...]: you can do so many things with cinema! But all the experimental 
things in film - like nailing and scratching the film and then putting it into the 
projector — that has all died out pretty quickly in the beginning and now we just 
use it as a representation.?? 


Das Prinzip des Versprechens von VR als Medium behandelt Ploeger auch 
in seiner künstlerischen Praxis. In den beiden Arbeiten frontline”* und 
The grass smells so sweet”? wird jeweils eine Erwartungshaltung gegenüber 
einer VR-Brille aufgebaut, die innerhalb der Arbeiten direkt wieder gebrochen 
wird. In The grass smells so sweet werden Erfahrungen mit Kopfschüssen the- 
matisiert. Ein realer Rasen sowie synthetisches Gras-Aroma im Ausstellungs- 
raum versprechen größtmöglichen Realismus und bauen die Erwartung auf, 
eine empathisierende, multisensorielle VR-Erfahrung zu erleben. Das VR- 
Environment ist jedoch äußerst reduziert und wirkt wie eine ungestaltete 
Zusammenstellung an Prefabs: über einer simpel texturierten 2D-Rasenfläche 
ohne Relief prangt eine beliebige, detailarme Skybox. Ploeger kontrastiert 
die, bei den Betrachter:innen bereits allgemein bestehenden sowie durch 
die Rauminstallation verstärkten, Erwartungshaltungen mit der von ihm 


53 „Crossing Sensations“, ab 09:57. 
54 Ploeger, Frontline. 
55 Ploeger, The grass smells so sweet. (ausgestellt bei In VR we trust). 
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gestalteten Digitalästhetik, die in ihrer Reduktion anachronistisch wirkt. Die- 
ser Kontrast macht die, fär gewöhnlich impliziten, Versprechen durch und 
über Technologie explizit erfahrbar und betont zugleich die Medialität dessen, 
was in VR tatsächlich zu sehen ist. 


Versprochene-Virtualität-Kunst 


Ein anderer Zugang dazu, mit dem technologischen Versprechen von VR 
zu brechen, ist, die Bedeutung von Virtualität in Frage zu stellen. Die ver- 
schiedenen Bedeutungsebenen von Virtualität lassen sich anhand der 
Arbeit o Virtuelle Realität | 100 Virtuelle Realität?? verdeutlichen, die 2021 aus 
unserer Zusammenarbeit als Medienkiinstler und Architekturtheoretikerin 
hervorging: An einer Wand hängen zwei VR-Brillen. Dabei handelt es sich um 
Smartphone-basierte Headsets, in denen als Display statt Smartphones je ein 
Geldschein steckt. Die Linsen der Brillen wirken als Lupen und erzeugen visu- 
elle Uberlagerungen der linken und rechten Hälften der Scheine. 

Durch diese unerwartete Nutzung einer VR-Brille werden die Rezipient:in- 
nen mit der Frage konfrontiert, was überhaupt unter ‚virtueller Realität‘ zu 
verstehen ist. Die Bedeutung als etwas, das „nicht physisch vorhanden, son- 
dern durch Software zum Erscheinen gebracht wird“? im Sinne einer digital 
generierten 3D-Umgebung, etablierte sich erst mit zunehmender Verbreitung 
von Computern. Seit dem ı5. Jahrhundert versteht man unter virtuell „dem 
Wesen oder der Wirkung nach etwas zu sein, wenn auch nicht wirklich oder 
faktisch“.°8 So ist auch die Idee eines Nominalwertes von Geld vollkommen 
virtuell. 

Die Gestaltung der Euroscheine verkörpert die Virtualität von Geld noch 
auf einer anderen Ebene: Um nationale Repräsentationskonkurrenz zu ver- 
meiden, wurden gemäß der Ausschreibung zur Gestaltung der Euro-Scheine 
fiktive Bauten entworfen, die je Geldschein eine Kulturepoche abbilden soll- 
ten.? In 100 Virtuelle Realität (Abb. 13.6) steckt ein 100-Euro-Schein im Design 
der seit 2019 im Umlauf befindlichen Europa Series. Darauf sind ein fiktives 
Portal und Fassadenstück abgebildet, welche „Barock und Rokoko“ darstellen 


56 _Schöllund Bargholz, o Virtuelle Realität / 100 Virtuelle Realität. 

57  ‚Virtual“ „not physically existing but made to appear by software“. 

58 „Virtual“. „being something in essence or effect, though not actually or in fact“. 

59 European Monetary Institute, „Design Brief for the Design of a Series of Euro Banknotes — 
Ages and Styles of Europe“, S. 2. 
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sollen.®° Die französische Firma Oberthur Technologies druckte nicht nur die- 
sen 100-Euro-Schein fär die Banque de France, sondern produziert auch fär die 
französische Firma EuroSchein-Souvenir.®! Letztere bietet o-Euro-Scheine mit 
Wunschmotiven an und zählt den Förderverein Berliner Schloss e.V. zu ihren 
Kunden. In o Virtuelle Realität (Abb. 13.5) steckt ein entsprechender o-Euro- 
Schein von 2021, der eine historische Darstellung der Nordfassade des Berliner 
Schlosses zeigt. Seit der Schlossneubau 2020 fertiggestellt wurde, wartet der 
Hauptinitiator darauf, dass „[das Schloss] in zwei, drei Jahren eine Patina hat, 
dann wird es so aussehen, als ob es nie weg gewesen wäre“.$? 

Manche Betrachter:innen der Arbeit mögen enttäuscht sein, da sie in 
der VR-Brille als Objekt bereits ein technologisches Versprechen sehen, das 
nicht erfüllt wird. Virtuelle Realität bietet die Arbeit allerdings reichlich: 
Geldscheine, fiktive Architektur auf Geldscheinen, historisierende Fassaden- 
elemente auf einem Betonneubau, sowie historisierende Fassadenelemente 
auf Geldscheinen. Gemäß Guy Debords Verständnis in La societe du spec- 
tacle (Die Gesellschaft des Spektakels) sind viele Elemente, die in früheren 
Gesellschaften direkt erlebt worden wären, unter modernen Produktionsbe- 
dingungen in eine Vorstellung beziehungsweise Repräsentation „entwichen“.63 
Die auf den Geldscheinen abgebildeten Architekturen sind wahre Simulakra 
im Sinne Jean Baudrillards, denn sie gehen der Realität voraus.6* Der Förder- 
verein Berliner Schloss e.V. versuchte mit den nominal wertlosen Geldscheinen 
die neue Fassade zu finanzieren. Der Grafikdesigner Robin Stam initiierte den 
Nachbau aller auf den Euro-Scheinen abgebildeten Brücken in dem Rotter- 
damer Vorort Spijkenisse. Allerdings sind diese Simulakra keine Simulation im 
virtuellen Raum‘ digitaler Medien, sondern eine physische Simulation in Geld- 
beuteln und Innenstädten. Somit ist o Virtuelle Realität | 100 Virtuelle Realität 
Kunst über neue Medien, da die realweltliche Virtualität erlebbar gemacht 
wird — mithilfe einer Erwartungshaltung gegenüber neuen Medien, aber auf 
der technischen Basis simpler Optik. 


60 European Central Bank, „Gestaltungselemente“. 

61 Der 100-Euro-Schein kann über die aufgedruckte Druckereikennung E seiner Produk- 
tionsstätte zugeordnet werden. Auf der Rückseite des o-Euro-Scheins befindet sich der 
Aufdruck „PRINTED BY OBERTHUR FIDUCIAIRE“. 

62 Morgenstern, „Hat es erst Patina, wird es aussehen, als wäre es nie weg gewesen“. 

63 Debord, La société du spectacle, These 1. „Tout ce qui était directement vécu s'est éloigné 
dans une représentation.“ 

64 Baudrillard, Simulacres et simulation. 
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Abb. 13.5 o Virtuelle Realität (2D-Simulation), Clemens Schöll und Ortrun Bargholz, 2021. 
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Abb. 13.6 100 Virtuelle Realität (2D-Simulation), Clemens Schöll und Ortrun Bargholz, 2021. 
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Hype, Kritik und der Criti-Hype 


In der Beteiligung an sogenannter VR-Kunst - also künstlerischen Produk- 
tionen, die ein VR-Headset verwenden, unabhängig von ihren technischen, 
inhaltlichen und stilistischen Eigenschaften oder Qualitäten - kommt Kultur- 
schaffenden eine Verantwortung gegenüber der Gesellschaft zu. Sie lenken 
Aufmerksamkeit auf VR, verbreiten und normalisieren ihre Verwendung und 
inspirieren gegebenenfalls zur weiteren Nutzung. Analog zur Definition kriti- 
scher Wissenschaft des Literaturwissenschaftlers Peter Bürger kann auch die 
Verantwortung des Kunstsystems verstanden werden: Kritische Kunst unter- 
scheidet sich von traditioneller Kunst dadurch, dass sie die gesellschaftliche 
Bedeutung ihres eigenen Tuns reflektiert.6° 

Viele Kunstwerke, die vermeintlich kritisch mit Medien umgehen, kritisie- 
ren oberflächlich. Die Künstlerin Hito Steyerl beschreibt die Wirkung solch 
oberflächlicher Kritik im Kontext der Institutionskritik als „de[n] Prozess einer 
symbolischen Integration der Kritik in die Institution oder eher auf der Ober- 
fläche der Institution, ohne irgendwelche materiellen Konsequenzen inner- 
halb der Institution selbst oder ihrer Organisationsstruktur.‘6® In diesem Sinne 
ist auch ‚kritische‘ Medienkunst, die mit hehren Intentionen entstanden sein 
mag, oft nicht wirkmächtig in ihrer Kritik. Sie läuft vielmehr Gefahr, von den 
Technik-Unternehmen aufgegriffen zu werden und deren Selbstdarstellung 
durch symbolische Kritik zu bereichern. 

Darüber hinaus gibt es die Tendenz der Kritiker:innen, aus der problema- 
tisierten Situation selbst Profit schlagen zu wollen oder einen Hype darum zu 
kreieren. Das gilt auch, und vielleicht besonders, für Bereiche außerhalb der 
Kunst. Der Technikforscher Lee Vinsel führte in diesem Zusammenhang 2021 
den Begriff „Criti-Hype“ ein.67 Er bezog ihn unter anderem auf die emeritierte 
Professorin für Betriebswirtschaftslehre Shoshana Zuboff und ihre Arbeit zum 
Uberwachungskapitalismus.®8 Der Begriff beschreibt das Phänomen, dass ins- 
besondere Forscher:innen die schlimmstmöglichen Marketingversprechen re- 
produzieren, um darüber Aufmerksamkeit und Gelder zu akquirieren. Dieses 
Prinzip lässt sich auch auf VR übertragen: ‚Kritische‘ VR-Kunst ist oft selbst 
Teil des (Criti-)Hypes. 


65 Bürger, Theorie der Avantgarde, S. 8. „Kritische Wissenschaft unterscheidet sich von tra- 
ditioneller Wissenschaft dadurch, daß sie die gesellschaftliche Bedeutung ihres eigenen 
Tuns reflektiert“ 

66 = Steyerl, „Die Institution der Kritik“. 

67 Vinsel, ‚You’re Doing It Wrong‘. 

68  Zuboff, Das Zeitalter des Uberwachungskapitalismus. 
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Noch ist VR mehr Versprechen als Realität. Und auch wenn viele der Ver- 
sprechen rund um VR wahrscheinlich nicht Realität werden, ist es eine realis- 
tische Option, dass VR in Zukunft eine relevante Rolle in unserer Gesellschaft 
spielen wird. Auf der Basis unmittelbarer Technikfreude lassen sich ein Hype 
und der dazugehörige Criti-Hype befeuern. Kunst kann und sollte allerdings 
versuchen, die Rolle von VR im Interesse einer pluralen Gesellschaft mit- 
zugestalten. Um dieses Potenzial zu nutzen, müssen Künstler:innen, Kura- 
tor:innen, Institutionen und nicht zuletzt die Rezipient:innen sich ihrer 
Motivationen bewusst sein sowie der Versprechen, die sie selbst kreieren oder 
reproduzieren. 
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